常见系统架构

标签:
大数据hadoop系统架构 |
分类: 系统架构 |
分层架构(layered architecture)是最常见的软件架构,也是事实上的标准架构。
这种架构将软件分成若干个水平层,每一层都有清晰的角色和分工,不需要知道其他层的细节。层与层之间通过接口通信。
一说到分层(这里我们说的是逻辑分层),相信很多人都会想到经典的三层架构。其实分层的目的是把功能按照不同的角色分隔开,便于后期系统扩展、维护,所以三层只是一个最少的层次划分,具体的层次需要根据项目实际的业务情况以及系统的部署情况进行划分.
界面层:用户界面或表现层,即MCV中的view层;
界面控制层和API接口层:界面控制层即MCV中的Control层(使用.net的mvc),API接口层主要以Webapi提供接口,主要用于实现轻业务、参数校验、异常封装以及权限验证;
业务逻辑层(Service层):实现业务处理逻辑;
业务Manager层:可复用逻辑层,完成:1. 对第三方平台封装的层,预处理返回结果及转化异常信息;2. 对Service层通用能力的下沉,如cache,mq等通用处理;
数据持久层(Dao层):数据库访问层。
Common层:里面主要包含业务方法库和公共方法库,业务方法库:主要是协助业务逻辑层处理逻辑,即含业务的公共方法,只被业务逻辑层调用;公共方法库:包含公共方法,可以被所有层调用。公共方法库还有一个原则,就是他不依赖Model,他对于任何层次都可以单独调用,以后作为框架的一个公共库模块。这也就是为什么还会存在一个业务方法库。
分层说明:因为界面层使用的MVC,所以对应的就有界面控制层,如果前后端分离,就只需要API接口层即可。
2.3、分层模型描述
Entity:主要是对数据库表结构一一对应;
DTO:数据传输类型总称,这里将他作为一个象征名词,具体分为:Request(请求对象),Response(响应对象)和DTO(数据传输对象)。
模型运用场景:
界面层发送Request参数请求,界面控制层将请求分发到对应的Service层,Service层根据业务拆分成不同的DTO参数请求或者不做拆分,再发送到Dao层,Dao层访问数据库。如果是数据库表查询,返回Entity对象,如果是多表业务查询,返回DTO对象,Service层经过业务处理返回Response对象到界面控制层,界面层直接返回Response对象。由于项目较小,返回过程中的Entity对象和DTO对象也可以直接返回。
2.4、实现技术
前端技术:html5,css3,java,jquery,layui以及它的fly论坛界面;
后端技术:采用.net MVC、WabAPI以及.net Framework为目标框架;类库采用standard作为目标框架;ORM使用Dapper;依赖注入采用Unity;日志框架使用Log4Net;
技术选型说明:界面层和界面控制层选用的是.net Framework为目标框架的.net MVC,而.net Core是以后的大势,所以剩下的类库都选用standard作为目标框架,后面如果使用.Net Core进行跨平台,直接替换界面层和界面控制层即可。在研发过程中还会添加其他的技术,所以架构设计也要不断的迭代。
2.5、编码规范
这里的规范只对架构方面的规范,至于代码书写的规范(命名,注释等)就不做描述了。
1、命名规范
业务逻辑层(Service层)所有文件必须以Service结尾;
业务Manager层所有文件必须以Manage结尾;
数据持久层(Dao层)所有文件必须以Repository结尾;
Entity对象所有文件必须以Entity结尾;
界面层发送的请求必须以Request结尾;
返回给界面层的数据必须以Response结尾;
其余的传输的数据对象必须以DTO结尾。
2、依赖注入
业务逻辑层(Service层),业务Manager层,数据持久层(Dao层)必须有对应的接口层,采用依赖注入的方式实例化对象。
3、方法库
业务方法库和公共方法库都必须是静态方法,并且业务方法库只能被业务逻辑层(Service层)调用。
4、参数规范
所有的方法,请求和返回对象都必须一一对应。(主要是防止一个对象多用,导致后期混乱不堪)
优点
- 结构简单,容易理解和开发
- 不同技能的程序员可以分工,负责不同的层,天然适合大多数软件公司的组织架构
- 每一层都可以独立测试,其他层的接口通过模拟解决
缺点
- 一旦环境变化,需要代码调整或增加功能时,通常比较麻烦和费时
- 部署比较麻烦,即使只修改一个小地方,往往需要整个软件重新部署,不容易做持续发布
- 软件升级时,可能需要整个服务暂停
- 扩展性差。用户请求大量增加时,必须依次扩展每一层,由于每一层内部是耦合的,扩展会很困难
事件驱动架构
事件驱动架构(Event Driven Architecture,EDA)一个事件驱动框架(EDA)定义了一个设计和实现一个应用系统的方法学,在这个系统里事件可传输于松散耦合的组件和服务之间。一个事件驱动系统典型地由事件消费者和事件产生者组成。事件消费者向事件管理器订阅事件,事件产生者向事件管理器发布事件。当事件管理器从事件产生者那接收到一个事件时,事件管理把这个事件转送给相应的事件消费者。如果这个事件消费者是不可用的,事件管理者将保留这个事件,一段间隔之后再次转送该事件消费者。这种事件传送方法在基于消息的系统里就是:储存(store)和转送(forward)
事件驱动架构(event-driven architecture)就是通过事件进行通信的软件架构。它分成四个部分。
- 事件队列(event queue):接收事件的入口
- 分发器(event mediator):将不同的事件分发到不同的业务逻辑单元
- 事件通道(event channel):分发器与处理器之间的联系渠道
- 事件处理器(event processor):实现业务逻辑,处理完成后会发出事件,触发下一步操作
对于简单的项目,事件队列、分发器和事件通道,可以合为一体,整个软件就分成事件代理和事件处理器两部分。
优点
- 分布式的异步架构,事件处理器之间高度解耦,软件的扩展性好
- 适用性广,各种类型的项目都可以用
- 性能较好,因为事件的异步本质,软件不易产生堵塞
- 事件处理器可以独立地加载和卸载,容易部署
缺点
- 涉及异步编程(要考虑远程通信、失去响应等情况),开发相对复杂
- 难以支持原子性操作,因为事件通过会涉及多个处理器,很难回滚
- 分布式和异步特性导致这个架构较难测试
三、微核架构
微核架构(microkernel architecture)又称为"插件架构"(plug-in architecture),指的是软件的内核相对较小,主要功能和业务逻辑都通过插件实现。
内核(core)通常只包含系统运行的最小功能。插件则是互相独立的,插件之间的通信,应该减少到最低,避免出现互相依赖的问题。
•
•
•
•
微核模式实际上是一种特化的分层模式,他把最底层的功能封装层“微核”,同时把各个模块的交互规定为“运行时的事件”。这样简化了的3层架构,提供能非常好的模块独立性。
优点
- 良好的功能延伸性(extensibility),需要什么功能,开发一个插件即可
- 功能之间是隔离的,插件可以独立的加载和卸载,使得它比较容易部署,
- 可定制性高,适应不同的开发需要
- 可以渐进式地开发,逐步增加功能
缺点
- 扩展性(scalability)差,内核通常是一个独立单元,不容易做成分布式
- 开发难度相对较高,因为涉及到插件与内核的通信,以及内部的插件登记机制
四、微服务架构
微服务架构(microservices architecture)是服务导向架构(service-oriented architecture,缩写 SOA)的升级。
每一个服务就是一个独立的部署单元(separately deployed unit)。这些单元都是分布式的,互相解耦,通过远程通信协议(比如REST、SOAP)联系。
微服务架构分成三种实现模式。
- RESTful API 模式:服务通过 API 提供,云服务就属于这一类
- RESTful 应用模式:服务通过传统的网络协议或者应用协议提供,背后通常是一个多功能的应用程序,常见于企业内部
- 集中消息模式:采用消息代理(message broker),可以实现消息队列、负载均衡、统一日志和异常处理,缺点是会出现单点失败,消息代理可能要做成集群
优点
- 扩展性好,各个服务之间低耦合
- 容易部署,软件从单一可部署单元,被拆成了多个服务,每个服务都是可部署单元
- 容易开发,每个组件都可以进行持续集成式的开发,可以做到实时部署,不间断地升级
- 易于测试,可以单独测试每一个服务
缺点
- 由于强调互相独立和低耦合,服务可能会拆分得很细。这导致系统依赖大量的微服务,变得很凌乱和笨重,性能也会不佳。
- 一旦服务之间需要通信(即一个服务要用到另一个服务),整个架构就会变得复杂。典型的例子就是一些通用的 Utility 类,一种解决方案是把它们拷贝到每一个服务中去,用冗余换取架构的简单性。
- 分布式的本质使得这种架构很难实现原子性操作,交易回滚会比较困难。
五、云架构
云结构(cloud architecture)主要解决扩展性和并发的问题,是最容易扩展的架构。
它的高扩展性,主要原因是没使用中央数据库,而是把数据都复制到内存中,变成可复制的内存数据单元。然后,业务处理能力封装成一个个处理单元(prcessing unit)。访问量增加,就新建处理单元;访问量减少,就关闭处理单元。由于没有中央数据库,所以扩展性的最大瓶颈消失了。由于每个处理单元的数据都在内存里,最好要进行数据持久化。
这个模式主要分成两部分:处理单元(processing unit)和虚拟中间件(virtualized middleware)。
虚拟中间件又包含四个组件。
- 消息中间件(Messaging Grid):管理用户请求和session,当一个请求进来以后,决定分配给哪一个处理单元。
- 数据中间件(Data Grid):将数据复制到每一个处理单元,即数据同步。保证某个处理单元都得到同样的数据。
- 处理中间件(Processing Grid):可选,如果一个请求涉及不同类型的处理单元,该中间件负责协调处理单元
- 部署中间件(Deployment Manager):负责处理单元的启动和关闭,监控负载和响应时间,当负载增加,就新启动处理单元,负载减少,就关闭处理单元。
优点
- 高负载,高扩展性
- 动态部署
缺点
- 实现复杂,成本较高
- 主要适合网站类应用,不合适大量数据吞吐的大型数据库应用
- 较难测试
- 处理单元:实现业务逻辑
- 虚拟中间件:负责通信、保持sessions、数据复制、分布式处理、处理单元的部署。