文/邓世友

链路层(L2)高可用设计

在数据中心网络部署中，在实现设备和链路冗余提高可靠性的同时，也会带来环路和复杂度的增加。一旦链路成环路很容易导致广播风暴，耗尽网络链路及设备资源。

1) 常见组网方式

对于传统的数据中心服务器区接入～汇聚交换网络，针对无环设计和有环设计有多种选择方案。如图5所示。可以看出，三角形组网提供了更高的接入可用性以及更灵活的服务器扩展能力，所以通常推荐此组网方式。

 

图5 数据中心服务器接入汇聚常见组网

拓扑	优点	缺点
1 倒U型	不启用STP，好管理 VLAN 可以跨汇聚层交换机，服务器部署灵活	必须通过链路聚合保证高可用性 汇聚交换机故障时，服务器无法感知，无法实现高可用接入
2 正U型	不启用STP，好管理 双active链路，接入交换机密度高	不能使VLAN跨汇聚层，服务器部署不灵活 接入交换机间链路故障，VRRP心跳报文无法传递，整机做VRRP主备切换，故障收敛时间长。
3 三角形	链路冗余，路径冗余，故障收敛时间最短 VLAN 可以跨汇聚层交换机，服务器部署灵活	存在环路，需要启动STP协议
4 矩形	双active链路，接入交换机密度高 VLAN可以跨汇聚层交换机	有一半的接入层流量要通过汇聚交换机之间的链路。当接入交换机上行链路故障时，所有流量将从一侧的交换机上行。收敛比变小，网络易拥塞，降低网络高可用性。 存在环路，需要启动STP协议

表3 组网方式优缺点对比

需要指出，接入交换机直接双上行与汇聚层设备相连，冗余连接并不是越多越好，最小的三角形环能够提供最快的收敛速度和最高的可用性。例如图6中右侧图组网拓扑在接入层交换机和汇聚层交换机之间采用全交叉冗余，是一种过度冗余组网，反而增加交换机的生成树计算的复杂性以及故障排错的复杂性，所以不建议按这种方式部署。

 

http://www.h3c.com.cn/res/201104/14/20110414_1175276_image006_711495_30008_0.jpg图6 过度冗余与推荐组网

2) 通过虚拟化技术简化网络

虽然三角形组网已经成为数据中心接入设计的最佳实践，但从网络的拓扑设计、环路规避、冗余备份等角度考虑，设计过程是极其复杂的。如VLAN的规划、生成树实例的拓扑阻塞、网关冗余选择，包括相应技术的参数选择、配置，故障切换的预期判断等，需要一套十分详细的流程，而在后期网络运行维护过程中面临的压力和复杂度是显而易见的。

因此，引入虚拟化设计方式简化网络则显得尤为重要。通过以H3C IRF2为代表的虚拟化技术，在不改变传统设计的网络物理拓扑、保证现有布线方式的前提下，实现网络各层的横向整合，即将交换网络每一层的两台、多台物理设备形成一个统一的交换架构，减少了逻辑的设备数量，同时实现跨设备的链路捆绑，消除环路的同时保证链路的高可用。

 

 

协议层(L3)高可用设计

数据中心网络的协议层高可用设计可以从以下三个方面考虑：

1) 路由协议部署

数据中心汇聚层到核心层间可采用OSPF等动态路由协议进行路由层面高可用保障。常见连接方式有两种，如图7所示。拓扑1采用了三角形连接方式，从汇聚层到核心层具有全冗余链路和转发路径；拓扑2采用了四边形连接方式，从汇聚层到核心层没有冗余链路，当主链路发生故障时，需要通过路由协议计算获得从汇聚到核心的冗余路径。所以，三角形拓扑的故障收敛时间较短，但要占用更多的设备端口。

 

http://www.h3c.com.cn/res/201104/14/20110414_1175277_image007_711495_30008_0.jpg图7 数据中心核心汇聚组网设计

在采用模块化、层次化设计之后，数据中心内部各分区与核心交换区的路由将会大大简化，针对拓扑1的组网方式，可进行IRF2横向整合，对汇聚层、核心层的双机设备进行虚拟化，实现跨设备链路捆绑实现汇聚层上行到核心层的多链路负载分担与备份，在此基础之上，核心层与汇聚层仅需要一个VLAN三层接口互联，直接在此VLAN三层接口上部署静态路由，简化数据中心内部的协议部署。此方式将简化后续运维的复杂度，但对于数据中心外联模块，由于外部路由相对较复杂，可部署OSPF动态路由，提高路由选择的灵活性。数据中心总体路由结构如图8所示。

 

http://www.h3c.com.cn/res/201104/14/20110414_1175278_image008_711495_30008_0.jpg图8 数据中心总体路由结构图

 

2) 快速检测与切换

为了减小设备故障对数据中心业务的影响、提高网络的可用性，设备需要能够尽快检测到与相邻设备间的通信故障，以便能够及时采取措施，从而保证业务继续进行。通常情况下，路由协议中的Hello报文机制检测到故障所需的时间为秒级，在这时间内会导致数据中心内部Gbps速率级高速数据传输的大量数据丢失。

BFD（Bidirectional Forwarding Detection，双向转发检测）由在此背景之下产生。它是一套全网统一的检测机制，用于快速检测、监控网络中链路或者IP路由的转发连通状况，保证邻居之间能够快速检测到通信故障，50ms内建立起备用通道恢复通信。BFD检测可部署在广域/域城出口模块，如图9所示。数据中心核心层与外联模块（广域区、城域区）之前运行OSPF动态路由协议，并在核心层交换机上配置BFD与OSPF路由联动。广域、城域路由设备或链路出现故障时，核心交换机快速感知，并通告OSPF进行快速收敛，缩短数据中心外联数据故障恢复时间。

 

http://www.h3c.com.cn/res/201104/14/20110414_1175279_image009_711495_30008_0.jpg图9 数据中心BFD部署

OSPF使用BFD进行快速故障检测时，OSPF可以通过Hello报文动态发现邻居，OSPF将邻居地址通知BFD就开始建立会话。BFD会话建立前处于down状态，此时BFD控制报文以不小于1秒的时间间隔周期发送以减少控制报文流量，直到会话建立以后才会以协商的时间间隔发送以实现快速检测。

BFD还可以部署在IRF2虚拟组内，快速检测出IRF分裂，提高IRF虚拟化部署的可用性。

 

3) 不间断转发

在部署了动态路由协议的数据中心网络中，若设备进行主备切换时，将会导致它与邻居关系出现震荡。这种邻居关系的震荡将最终导致路由协议的震荡与重新计算收敛，使得主备切换路由器在一段时间内出现路由黑洞或者导致邻居将数据业务进行旁路，进而会导致业务出现暂时中断。

为了实现不间断转发，设备本身需要支持数据转发与控制分离，支持双主控设计；同时需要部分保存协议的状态（控制平面），并借助邻居设备的帮助，实现发生主备切换时控制平面的会话连接不重置、转发不中断的目的。其相应的技术为路由协议的Graceful Restart（平滑重启）扩展，简称GR。

GR机制的核心在于：当某设备的路由协议重启时，能够通知周边设备在一定时间内将到该设备的邻居关系和路由保持稳定。该设备路由协议重启完毕后，周边设备协助其进行路由信息同步，使其各种路由信息在尽量短的时间内恢复到重启前的状态。在整个协议重启过程中，网络路由和转发保持高度稳定，报文转发路径也没有任何改变，整个系统可以不间断地转发IP报文。

在数据中心OSPF动态路由部署的区域（广域、外联、园区、互联网等）中，一般按照如图10所示的组网结构部署GR。

 

http://www.h3c.com.cn/res/201104/14/20110414_1175280_image010_711495_30008_0.jpg图10 数据中心GR部署

 使用GR保证网络中的核心层节点和广域出口节点在出现协议重启时的转发业务不中断，避免出现不必要的路由振荡。

 核心层节点和广域出口节点作为GR Restarter（同时缺省也作为GR Helper），分支节点作为GR Helper。这样当广域出口节点发生主备切换或重启OSPF进程时，核心节点可以作为GR Helper协助其进行LSDB重同步，并且保持转发不中断；当核心层节点发生主备切换或重启OSPF进程时，广域出口节点和分支节点都可以作为GR Helper协助其进行LSDB重同步，并且保持转发不中断。

 

应用层(L4～L7)高可用设计

在数据中心网络层面实现L4～L7层的高可用，可采用负载均衡的方案。L4～L7层负载均衡一方面可以提高服务器的响应能力和链路的带宽利用率，另一方面可以保证单台服务器或单条链路出现故障后，业务数据无缝分摊到其它服务器和链路，从而实现数据中心的高可用。

1) 链路负载均衡（LLB）

链路负载均衡常部署在数据中心的广域接入区和互联网接入区，通过静态表项匹配及动态链路检测，对多条链路状态进行实时的探测和监控,确保流量以最合理及快速的方式分发到不同链路上，实现业务的高效传输。

对于数据中心广域接入区，由于广域网出口流量仍然是企业内网数据流，在L4层一般可通过IP报文的五元组特征区分出不同的业务流，因此可直接在路由器上通过分层CAR、跨端口的流量转发实现负载分担、关键业务带宽保证、广域链路捆绑。无需专门的LB设备。如图11所示。

流量控制要求如下：

基本业务分流：生产业务走主链路，办公和视频业务走备用链路。

超负荷流量调度：无论主备链路，超负荷流量走对方链路；备用链路视频业务不要进行超负荷流量分担；纵向出口进行多业务QoS调度。

设计实现

基本业务分流：通过OSPF COST设计，生产业务默认走主链路转发，对办公和视频业务采用策略路由走备链路。

超负荷流量调度：以备链路为例，需要在数据中心广域网的入口进行流量监管CAR，超过10M的流量结合策略路由调度到左侧路由器。为保证视频流量不会被调度到左侧路由器，必须采用分层CAR实现。

 

http://www.h3c.com.cn/res/201104/14/20110414_1175281_image011_711495_30008_0.jpg图11 路由器分层CAR技术实现链路负载分担

 

对于Internet出口链路负载均衡，由于内网用户访问的数据流不固定，特征复杂，很难在L4层区分出不同的业务流，因此需要部署专门的负载均衡设备实现多运营商出口的链路负载均衡。并启用Inbound和Outbound两个方向的负载均衡，一方面满足企业内网用户或服务器访问外部Internet站点的流量分担；另一方面满足外网用户通过Internet访问企业公共服务（如网站、FTP等）的流量分担。如图12所示

 

http://www.h3c.com.cn/res/201104/14/20110414_1175282_image012_711495_30008_0.jpg图12 Outbound链路负载均衡

 用户将访问外网的报文发送到LB负载均衡设备后，负载均衡设备根据就近性算法和调度策略，将内网访问外网的业务流量分别分发给相应的链路。

 

 

http://www.h3c.com.cn/res/201104/14/20110414_1175283_image013_711495_30008_0.jpg
图13 Inbound链路负载均衡

 负载均衡设备作为权威名称服务器记录域名与内网服务器IP地址的映射关系。一个域名可以映射为多个IP地址，其中每个IP地址对应一条物理链路。外网用户通过域名方式访问内网服务器时，本地DNS服务器将域名解析请求转发给权威DNS服务器——LLB负载均衡设备，负载均衡设备依次根据持续性功能、ACL策略、就近性算法选择最佳的物理链路，并将通过该链路与外网连接的接口IP地址作为DNS域名解析结果反馈给外网用户，外网用户通过该链路访问内网服务器。

 

2) 服务器负载均衡（SLB）

目前大多数应用系统都采用了BS架构，企业数据中心的WEB服务器需要承接来自内网和外网众多用户的连接请求，因此单台服务器的性能和可靠性可能都无法满足，为实现更多的用户接入数和服务器冗余，可在WEB服务器部署负载均衡。服务器的负载均衡部署可采用以下两种方式实现：

 服务器集群软件

服务器集群软件（如MSCS）一般要求服务器群在同一VLAN内，其它无特殊要求在此不做详细介绍。

 服务器负载均衡(SLB)设备

依据转发方式的不同，分为NAT式和DR两种部署方式，如图14所示。两者有相同的处理思路：LB设备提供VSIP(虚拟服务IP)，用户访问VSIP请求服务后，LB设备根据调度算法分发请求到各个实服务。但在具体的处理方式上，两者仍有所不同。

NAT 方式：LB 设备分发服务请求时，进行目的IP 地址转换（目的IP 地址为实服务的IP），通过路由将报文转发给各个实服务。服务器响应的报文也要经过LB设备进行NAT转换，这种方式LB设备承担的性能压力较大。

DR 方式：LB 设备分发服务请求时，不改变目的IP 地址，而将报文的目的MAC 替换为实服务的MAC 后直接把报文转发给实服务。服务器响应的报文不需要经过LB设备，直接转发到用户，这种方式LB设备承担的性能压力相对较小。

 

 

http://www.h3c.com.cn/res/201104/14/20110414_1175284_image014_711495_30008_0.jpg图14 LLB两种部署方式组网

DR方部署时需要对每个服务器配置VSIP，并要求其VSIP不能响应ARP请求。而一般的企业网络运维和服务器运维是不同部门的不同人员负责，这就涉及到部门之间的配合，比较复杂，因此在LB设备性能足够的情况下一般不推荐使用。采用NAT方式部署组网灵活，对服务器没有额外要求，不需要修改服务器配置，适用于企业数据中心各种组网。

 

 

总结

数据集中意味着风险的集中、响应的集中、复杂度的集中、投资的集中……，高可用设计与部署是企业数据中心建设的永恒话题。“勿在浮沙筑高台”，网络作为数据中心IT基础承载平台，是IT系统高可用的基本保证。数据中心网络要实现高可用，技术并不能解决所有问题，还需要完善的运维流程、规章制度、管理体制等多方面的配合。结合企业业务的发展趋势，不断的总结与积累，是一个长期的、循序渐进的过程。