文/肖春喜

在企业数据中心（EDC）中，数据通信网络的设计不是简单的逻辑结构的画图画框，而是需要从机房建设标准到业务应用模型来综合考虑。本文以一个案例来说明，采用TIA-942标准建设企业数据中心机房时，如何设计网络的结构模型和，机房的设备与网络部署。

案例背景

某企业的数据中心机房采用了TIA-942的综合布线标准，有如下需求：

TIA-942标准，即《数据中心电信基础设施标准》，是经美国电信产业协会(TIA)、TIA技术工程委员会（TR42）和美国国家标准学会（ANSI）批准的。

该标准是为设计和安装数据中心或机房提供要求和指导方针。通过各专业设计成果的贯穿，使数据中心设计在建设过程早期就被考虑到，促进设计和建设阶段的衔接。数据中心能够从预先计划的、支持计算机系统升级和改变的基础设施中受益。TIA-942标准特别提出了当前建立在数据中心环境内各种各样的电缆系统配置中,每一个元件的接入和连接的基础设施布局。

• 数据中心服务器数量1000台；
• 服务器千兆双网卡接入（不考虑管理网卡问题）；
• 服务器接入交换机通过万兆上联到汇聚层交换机；
• 每台服务器功耗为450W；
• 每个网络机柜的最大功耗为5.5KW；
• 每个存储机柜的最大功耗为4KW；
• 布线系统采用TIA-942的结构化设计理念；
• 存储网络有单独的机柜，本文先不考虑存储布线。

设计方法

1.   逻辑拓扑与说明

http://www.h3c.com.cn/res/201004/21/20100421_960399_image001_671503_30008_0.jpg
图1 网络的逻辑结构

如图1所示，从逻辑结构层次来看，所有的业务应用可分为WEB、AP和DB三个逻辑访问区，每个区域都有对应的接入层、汇聚层和核心层，每层次对应使用的设备为H3C的S7510E、S9512E和S12508。这样设计将原来纯粹按某种应用来划分的“糖葫芦串”结构变成扁平化的组网，将应用按业务的访问模型来分，可以更好满足业务的访问需求，便于将来数据中心机房结构的扩展。

接入层的12台S7510E作为各业务区服务器的接入，每台S7510E配置8块48GE单板，可接入服务器48×8=384台，符合服务器接入数量的要求。每台S7510E通过4×10GE捆绑链路上行到汇聚层，收敛比为9.6:1。每台S7510E配置2块8×10GE单板。

汇聚层的S9512E部署FW插卡，并设置相应的安全策略。考虑到WEB区服务器的应用特点，还需要具备负载分担功能，所以在WEB区的汇聚S9512E上增加LB（Load-Balance）插卡。6台S9512E，每台配5块4×10GE单板，1块FW插卡（其中WEB 区的2台S9512E需要各增加1块LB插卡）。每台S9512E通过2×10GE捆绑上行到两台核心S12508，通过8×10GE捆绑与汇聚层同一区域另一台S9512E交换机互联，通过4×10GE捆绑与接入层的一台S7510E互联。

核心层的S12508是整个数据中心的核心，作为各层次之间的业务交换，WEB-AP-DB各区域的业务访问都需要经过S12508。2台S12508，每台配置2块8×10GE单板。通过6×10GE捆绑与核心层另一台S12508互联，通过2×10GE捆绑与汇聚层的一台S9512E互联。

注：从图1中客户端区到数据中心的访问有专用的FW处理，保证整个数据中心的对外安全，而数据中心汇聚层的FW主要作为业务应用之间相互访问的安全控制点。

2.   网络的结构连接优化

1)   IRF2的应用

为进一步优化网络结构，减少维护和管理的风险，各层级设备采用IRF2堆叠技术，使两台物理的网络设备虚拟成逻辑上的一台设备使用。堆叠后的网络结构如图2：

http://www.h3c.com.cn/res/201004/21/20100421_960400_image002_671503_30008_0.jpg
图2 IRF2堆叠后的逻辑拓扑

两台物理的网络设备经IRF2堆叠后缩减为一台逻辑设备，可以减少大量的环路，不再需要使用类似于STP的协议来避免环路，增加了运行和维护的方便性，同时也加强了网络的健壮性。只需通过必要的冗余设计避免堆叠的分裂，即使在某种极端情况下堆叠分裂了，也有保护机制来避免产生环路。

2)   Active/Active模式的设计

http://www.h3c.com.cn/res/201004/21/20100421_960401_image003_671503_30008_0.jpg
图3 Active/Active模式下的各层连接方式设计

IRF2堆叠有两种模式。图3所示的模式叫Active/Active，即双活模式。即在接入层、汇聚层和核心层均使用IRF2堆叠技术后，把部分Server的主用连接或网关放置在一台交换机上，另一部分Server的主用连接或网关放置在另一台交换机上（在各层次中IRF2都使用了两台堆叠）。使得所有的设备在转发部分数据的同时，也作为另一部分的备份。这样做的优点是设备的利用率较高，但缺点也很明显，管理和维护上不清晰，实际上业务的流量走向是相对无序的。

3)   Active/Standby模式的设计

http://www.h3c.com.cn/res/201004/21/20100421_960402_image004_671503_30008_0.jpg
图4 Active/Standby模式下的各层连接方式设计

这种模式叫Active/Standby，即主备模式。在接入层、汇聚层和核心层分别使用IRF2堆叠后，所有的Server，不管是接入、汇聚，还是核心，均主用在同一侧的交换机上。即每个层次只有一台交换机在工作，堆叠中的另一台完全作为热备份。这种方式下的优点是流量模型清晰，维护管理方便，缺点只是设备的利用率有所降低而已，但是单台设备的性能完全足够。

3.   网络安全与设备的部署方法

1)   设计概述

从网络安全和业务访问应用的角度分析，实际部署时因业务的重要性不同（如图5所示，业务分为高级别、中等级别和低级别），可将服务器的网关设置在不同的设备上。从业务访问的模式来看，可分为纵向访问和横向访问，其中纵向访问是指同一种应用在不同区的访问（如同一种低级别应用L1的WEB-AP-DB访问），横向访问是指同一级别中不同应用之间的访问（例如低级别L1访问低级别L2）。一般地，不同级别之间不允许访问。

根据上述基本原则，我们可充分利用交换机和防火墙上的功能来实现访问的需求。具体做法如下：

• 低级别应用服务器：网关设置在汇聚交换机S9512E上，纵向和横向访问通过交换机ACL来控制；
• 中级别应用服务器：网关设置在汇聚交换机S9512E上，纵向访问通过防火墙控制，横向访问通过交换机ACL控制；
• 高级别应用服务器：网关设置在汇聚交换机S9512E上，纵向访问和横向访问均需要通过防火墙控制。

因为三种级别业务服务器的网关均在S9512E交换机上，所以可通过MCE（Multi CE）功能，针对这三种业务虚拟化，通过绑定VPN实例实现各级别业务在交换机上的天然隔离，可以减少ACL的配置和资源消耗。

从网络的逻辑结构来看，接入层的S7510E作为二层交换和接入设备，接入大量服务器，并负责服务器之间的二层交换。汇聚层的S9512E属于二层和三层混合的设备，既作为对服务器的二层接入，也作为三层设备与FW互通，并与核心层S12508作跨区域（WEB-AP-DB）业务的路由转发。S12508作为核心层的路由设备，负责跨区域业务的转发、对客户端的响应和业务的请求与发送。

由于WEB应用的特点，WEB服务器一般通过集群方式工作，所以在WEB区需要增加负载均衡LB设备，所有从客户端发来的WEB应用请求均需通过LB处理后再到达WEB服务器。

http://www.h3c.com.cn/res/201004/21/20100421_960403_image005_671503_30008_0.jpg
图5 业务级别划分

2)   安全设备HA的部署

我们以WEB区的LB和FW插卡为例来说明安全设备的HA部署方法，如图6：

http://www.h3c.com.cn/res/201004/21/20100421_960404_image006_671503_30008_0.jpg
图6 安全设备的HA

从业务流程来说，Web-Server的网关设置在汇聚层交换机S9512E上，而FW与S9512E之间为三层路由连接，可以设计运行静态路由，同理，LB与S9512E之间也为三层路由连接，也设计运行静态路由，这样设计便于对路由进行较好的控制。当汇聚层交换机使用IRF2技术堆叠后，相当于一台逻辑交换机，通过接入两块FW和LB插卡，实际就是FW和LB在做HA，所以运用的主要技术原理是转发的热备份和状态的热备份。两块FW插卡和LB插卡的面板上分别取对应的接口通过物理连接实现状态的备份，而插卡与交换机的背板接口用于转发的备份，通过VRRP来实现。

对LB和FW单板来说，实现的方法相同，都是利用与S9512E之间的静态路由实现HA，即在S9512E上把访问LB或FW的业务网段路由下一跳指向VRRP虚地址，实现业务的互访。LB和FW的状态HA由面板上的接口来完成，简单而灵活的实现了HA的需求。当某一块插卡出现故障时，通过HA可直接倒换。在最极端的情况下，当插卡均出现故障时，因为所有Server的网关都设置在S9512E交换机上，插卡全部拔掉后，通过正常的路由转发仍然能实现业务的访问（只不过安全性差了些），所以进一步增加了冗余性，实现了数据中心的高可靠性。

4.   机房布线的EOR规划

1)   综述

如上所述，在这个数据中心里有交换机20台（安全设备为插卡结构不占用物理空间），服务器1000台左右。每台服务器的功率是450W，每机柜最大提供5.5KW功率，保守计算每机柜可以承载12台服务器。

在机房设计中，为了布线方便（双绞线不超过100米，光纤不超过300米），通常会采用“机柜组”的方式（每个机柜组包含若干个服务器机柜和网络机柜）。布局方式如图7所示：

http://www.h3c.com.cn/res/201004/21/20100421_960405_image007_671503_30008_0.jpg
图7 机房机柜设置示意图

根据描述的需求规模，该数据中心需要6个“机柜组”，每个“机柜组”包含32个服务器机柜和4个网络机柜（只使用2个，每个机柜只放置1台S7510E，另外两个机柜实际为存储的FC交换机）。服务器机柜相当于设备配线区EDA（Equipment Distribution Area），网络机柜相当于水平配线区HDA（Horizontal Distribution Area）。每个EDA可接入服务器12×32=384台。2台接入交换机部署在机柜组“HDA”网络机柜中，采用MOR（Middle Of Row）或EOR（End Of Row）的方式布局。6台汇聚交换机S9512E和2台核心交换机S12508部署在机房主配线区MDA（Main Distribution Area）的网络机柜中。

2)   机房效果

http://www.h3c.com.cn/res/201004/21/20100421_960406_image008_671503_30008_0.jpg
图8 机房机柜设置示意图

3)   设备配置区布局

http://www.h3c.com.cn/res/201004/21/20100421_960407_image009_671503_30008_0.jpg
图9 EDA布局示意图

4)   水平配线区布局

http://www.h3c.com.cn/res/201004/21/20100421_960408_image010_671503_30008_0.jpg
图10 HDA布局示意图

图10中的布局方式其实是Middle Of Row，两边机柜的电缆都向中间集中，这种布局比EOR更容易布线，避免了最远端电缆到这列头部机柜的网线超出规定距离。

5)   总配线区布局

http://www.h3c.com.cn/res/201004/21/20100421_960409_image011_671503_30008_0.jpg
图11 MDA布局示意图

结束语

    企业数据中心的建设，是一个庞大而系统的工程，在做网络和安全设计时主要是以业务的访问流程和安全级别的要求两方面来作考虑和评估的指标。相应的服务器的连接方式以及机房的环境设计，与大型IDC和互联网的搜索引擎模式有明显的不同，不能完全照搬，要学会“拿来主义”，同时充分考虑安全性和可靠性，才能真正达到业务应用的“5个9”指标。