目前，机架式服务器和刀片服务器已成为数据中心主要的服务器形态。它们各自有什么特点？在网络设计和机房部署等方面存在哪些差异？

文/刘新民

1 导言

数据中心在逻辑上包括硬件和软件。硬件是指数据中心的基础设施，包括支撑系统和计算机设备等；软件是指数据中心所安装的程序和提供的信息服务。一个完整的数据中心在其建筑之中，包括支撑系统、计算机设备和信息服务这三个逻辑部分。支撑系统主要是电力设备、环境调节设备和监控设备，这些系统是保证上层计算机设备正常、安全运转的必要条件。数据中心的计算机设备包括服务器、存储设备和网络设备，这些设备运行着上层的信息服务。信息服务的质量依赖于底层支撑系统和计算机设备的服务器能力。只有综合考虑各种因素、整体统筹兼顾，才能保证数据中心的良好稳定运行。

服务器作为数据中心信息服务的主要载体，同时与存储设备和网络设备相连，是数据中心的核心组件。当前数据中心的服务器按形态可分为塔式服务器、机架式服务器和刀片式服务器这三类。从网络设计上看，塔式服务器与机架式服务器的部署模式相似，且受数据中心机房空间等因素的限制，机架式服务器和刀片服务器已成为数据中心主要的服务器形态，以下针对后两种形态的服务器做分析探讨。

2 服务器形态差异

2.1 塔式服务器

塔式服务器的外形与个人PC主机相似。与普通PC相比，塔式服务器的主板可扩展性强，接口和插槽比普通PC多，机箱尺寸比普通PC大。塔式服务器成本低，可满足入门级服务器的需求。但塔式服务器占用的机架空间大，不便于挪动，因此在规模较大的数据中心已很少部署这种形态的服务器。

http://www.h3c.com.cn/res/201006/21/20100621_998893_image001_679130_30008_0.jpg图1. 塔式服务器

2.2 机架式服务器

机架式服务器是一种外观按照统一标准设计、配合机柜使用的服务器，如图2所示。由于采用统一的机架式结构，服务器可以方便的与同一机柜或位于列头柜内的以太网交换机连接，简化了机房的布线和管理。

机架式服务器的尺寸有统一的标准：服务器的宽度为19英寸，高度以U为单位，机架式服务器的高度在1U到7U之间。

相比塔式服务器，机架式服务器的优点是占用机柜空间小，单位空间可放置更多服务器，便于机房内统一管理，且服务器移动方便。机架式服务器对机房的制冷要求较高，对于风冷方式的数据中心，在安装服务器时，要求冷空气从服务器机柜前的镂空地板送入机柜，服务器从前面板将冷空气吸入，冷气流经服务器内部转换成热空气后，从服务器后面板流出。热空气沿循环通道重新进入制冷装置。

http://www.h3c.com.cn/res/201006/21/20100621_998894_image002_679130_30008_0.jpg
图2. 机架式服务器

由于服务器内部空间限制，扩充性受限制，例如1U的服务器通常只有1到2个PCI扩充槽。因此这种服务器多用于服务器数量较多，且机房有比较适宜的制冷装置的大型数据中心。

2.3 刀片服务器

刀片服务器具有集成化、高密化的特点，其主体结构是一个大型的具有标准机箱尺寸的机箱（又称为“刀箱”），刀箱内部可插上多块 “服务器刀片”单元，其中每一块服务器刀片就是一台独立的服务器。每个服务器刀片可以通过本地硬盘运行自己的操作系统，相互之间没有关联。多个服务器刀片也可通过集群软件组成一个服务器集群。在集群模式下，所有服务器刀片通过高速网络环境互联，服务于相同的用户群。除服务器刀片外，刀箱内还可根据需要安装具有不同功能的“刀片模块”，如：网络刀片、存储刀片、管理刀片等。其中网络刀片（又称为刀片交换机）的功能相当于以太网交换机，刀片交换机通常以1GE或10GE端口与刀片服务器连接，并提供10GE端口与上行交换机连接；存储刀片可以被视为一个硬盘模块，通过背板总线或者硬盘接口线向服务器刀片提供存储功能；管理刀片通过服务器刀片上集成的监控管理芯片进行刀片服务器的集中监控和管理。

http://www.h3c.com.cn/res/201006/21/20100621_998895_image003_679130_30008_0.jpg图3. 刀片服务器

刀片服务器一般应用在大型数据中心或计算密集的领域，如电信、金融行业和互联网数据中心等。对企业和互联网服务提供商来说，随着业务的发展和对服务器需求的增长，刀片服务器在节约空间、便于管理、可扩展性方面相对与机架式服务器有显著的优势。但刀片服务器由于计算密度成倍提高，对单机柜的供电功率以及制冷方式提成更高要求。

3 网络设计方案差异

3.1 数据中心服务器网络接入方式概述

http://www.h3c.com.cn/res/201006/21/20100621_998896_image004_679130_30008_0.jpg
图4. 数据中心服务器区分层网络模型

如图4所示，在典型的数据中心服务器区分层网络模型中，网络核心层用于连接各服务器区的汇聚层设备，实现服务器区之间报文的高速转发。汇聚层设备做为服务器的网关，是服务器区的网络流量汇集点，是部署安全设备和应用优化设备的最佳位置。数据中心接入层为服务器提供高可用的二层网络接入，并通过VLAN划分实现接入服务器的隔离。接入层应根据服务器数量规划接入交换机的端口数，并考虑未来的扩展能力。接入层应按照服务器物理形态进行统一规划，相同形态的服务器对于网络接入方式以及机柜布线的要求基本相同，因此将相同形态的服务器集中摆放，并接入到相同的接入层交换机上可提高服务器机柜利用率和机房的管理效率。

无论对于机架式服务器还是刀片式服务器而言，高可用性与高扩展性都是数据中心网络接入层网络设计的基本原则。然而，机架式服务器与刀片式服务器在网络可管理性方面却有不同的要求。在刀片服务器的刀箱中，通常配有管理模块（或管理刀片），通过管理模块提供的WEB界面，可以实现对刀箱中的服务器刀片和刀片交换机的统一管理。这种管理统一性虽然简化了整个系统的管理，但会导致网络管理边界与服务器管理边界的模糊问题。由于数据中心网络管理员不具备刀片服务器的管理权限，不能实现对刀片交换机的管理；而服务器管理员因为网络技术能力的限制，又不能很好的完成服务器二层网络接入的相关配置工作，由此易引起服务器接入的网络故障。笔者曾在某银行数据中心项目的实施过程中遇到过类似问题：在当时条件下，银行网管人员为保证服务器的二层可扩展性与高可用性，设计中在刀片交换机与数据中心汇聚交换机间使能生成树协议，但由于服务器管理员在配置刀片交换机时，采用了错误了生成树协议参数，致使网络中断，由此影响了整个业务系统的上线时间。因此，在规划刀片服务器接入网络时，明确网络与服务器管理边界，提高网络可管理性，也是一个重要的设计原则。^*

服务器接入层交换机按照是否采用N:1虚拟化技术（如H3C IRF技术）可分为两大类方案。从数据中心网络的高可用性、可扩展性以及易管理性出发，不同的服务器形态（机架式、刀片）有不同的推荐组网方案。以下将就两大类方案对于机架式服务器和刀片服务器的适用性进行分析探讨。

3.2 未采用虚拟技术的服务器接入方案

虚拟化技术的网络拓扑方案有四种，分别为：倒U形方案、U形方案、矩形方案和三角形方案。为了便于比较各种组网拓扑，这里假设接入交换机（或刀箱内的刀片交换机）采用两个万兆以太网接口与上行以太网交换机连接，服务器通过双网卡分别接入到两台接入交换机（或刀片交换机）上。如表1所示为各方案的适用性分析。

3.2.1 二层无环U形组网

http://www.h3c.com.cn/res/201006/21/20100621_998897_image005_679130_30008_0.jpg
图5. 二层无环U形组网

方案优点：

• 网络络接入层不存在二层环路，接入层交换机可以不启用生成树协议，因此网络的配置管理简单。

方案缺点：

• 从接入交换机到汇聚交换机缺少二层冗余路径，方案不具备高可用性。；
• 服务器的接入VLAN不能跨汇聚层，服务器不能实现跨交换机的二层互联，网络的二层扩展能力有限。
• 服务器网关指向汇聚交换上VRRP的VIP地址，但VRRP心跳报文的传输路径必须经过两台接入交换机，当两台接入层交换机之间的链路发生中断时，两台汇聚交换机都变为VRRP主设备，网络进入三层不稳定状态。

机架式服务器适用性分析：

• 网络接入不具备高可用性，且二层扩展能力有限，因此不建议在机架式服务器接入时采用这种组网。

刀片服务器适用性分析：

• 网络接入不具备高可用性，二层扩展能力有限，不建议在刀片服务器接入时采用这种组网。

3.2.2 二层无环倒U形组网

http://www.h3c.com.cn/res/201006/21/20100621_998898_image006_679130_30008_0.jpg
图6. 二层无环倒U形组网

方案优点：

• 网络接入层不存在二层环路，接入交换机不启用生成树协议，网络配置管理简单。
• 服务器的接入VLAN可以跨汇聚交换机，因此能实现VLAN跨不同的接入层交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。
• 接入交换机上行汇聚交换机采用捆绑链路，因此上行链路可靠性高，链路的带宽利用率高；

方案缺点：

• 当汇聚交换机与接入交换机之间的链路中断时，服务器不能感知这种故障，服务器上行流量仍然发送到出现故障的接入交换机，从而形成了“流量黑洞”；

机架式服务器适用性分析：

• 由于存在“流量黑洞”的问题，因此不建议在机架式服务器接入时采用这种组网。

刀片服务器适用性分析：

• 刀片交换机可通过上行捆绑链路的状态监测机制解决“流量黑洞”问题：刀片交换机在正常运行状态时，周期性的对上行汇聚层交换机的接口进行状态检查，当发现上行接口故障时，该刀片交换机将shutdown其上所有端口。此时，接入到该刀片交换机上的服务器将把流量切换到与另一个刀片交换机相连的网卡上，从而避免了“流量黑洞”。
• 这种方案配置管理简单，如刀片交换机具备防 “流量黑洞”的特性，则适用于刀片交换机的网络接入。

3.2.3   二层环路矩形组网

http://www.h3c.com.cn/res/201006/21/20100621_998899_image007_679130_30008_0.jpg
图7. 二层环路矩形组网

方案优点：

• 服务器接入VLAN可以跨汇聚交换机，能实现VLAN跨不同的接入交换机，服务器可实现跨接入交换机的二层互联，服务器接入扩展性好。
• 接入交换机到汇聚交换机间有冗余链路，网络接入层具备高可用性。

方案缺点：

• 正常情况时，两台接入交换机之间的链路被生成树协议阻塞。当某台接入交换机上行链路故障时，交换机之间的链路变为转发状态。此时，发生故障的交换机一侧的所有服务器上行流量，将经过另一侧交换机上行到汇聚交换机，该交换机的上行收敛比增加一倍，导致网络发生拥塞，网络转发性能降低。

机架式服务器适用性分析：

• 服务器接入具备高可用性和高可扩展性。当一侧接入交换机发生故障时，另一侧交换机拥塞加重，网络转发性能降低，因此不建议在机架式服务器接入时采用这种组网。

刀片服务器适用性分析：

• 刀片交换机模块需要配置生成树协议，不利于刀片系统的管理维护。且同样存在一侧刀片交换机故障时，网络转发性能下降的问题，因此不建议在刀片服务器接入时采用这种组网。