文/康乐

在传统的数据中心服务器区网络设计中，通常将二层网络的范围限制在网络汇聚层以下，通过配置跨汇聚交换机的VLAN，可以将二层网络扩展到多台接入交换机，这种方案为服务器网络接入层提供了灵活扩展能力。近年来，服务器高可用集群技术和虚拟服务器动态迁移技术（如VMware的VMotion），在数据中心容灾及计算资源调配方面得以广泛应用，这两种技术不仅要求在数据中心内实现大二层网络接入，而且要求在数据中心间也实现大范围二层网络扩展。

1 数据中心间二层互联的业务需求

如图1所示，数据中心间通常部署以下三种互联链路，每种互联链路所承载的数据不同，实现的功能不同，并且这三种链路在逻辑上相互隔离。

• 网络三层互联。也称为数据中心前端网络互联，所谓“前端网络”是指数据中心面向企业园区网或企业广域网的出口。不同数据中心（主中心、灾备中心）的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性。
• 网络二层互联。也称为数据中心服务器网络互联。在不同的数据中心服务器网络接入层，构建一个跨数据中心的大二层网络（VLAN），以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求。
• SAN互联。也称为后端存储网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾备中心间磁盘阵列的数据复制。

http://www.h3c.com.cn/res/201010/29/20101029_1095499_image001_697894_30008_0.jpg图1. 数据中心的三种互联方式

数据中心间网络二层互联的应用场景有以下两种。

1.1 服务器高可用集群

服务器集群（Cluster），是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。多数厂商（HP、IBM、微软、Veritas等）的集群软件需要各服务器间采用二层网络互连。将集群中的服务器部署于不同数据中心，可实现跨数据中心的应用系统容灾。服务器集群互联通常需要部署两个二层网络，如图2所示。

http://www.h3c.com.cn/res/201010/29/20101029_1095500_image002_697894_30008_0.jpg

图2. 服务器集群高可用集群

•  集群软件进程间通信（心跳、会话同步）网络，用于保持和控制主控节点的状态，这个网络上的IP地址不会通过数据中心前端网络发布出去。
•  集群公共通信网络，也就是集群虚IP的接入网络。虚拟IP是集群对外提供服务的地址，类似与路由器上配置VRRP功能时的虚IP，该地址将通过数据中心前端网络向外发布。

1.2 服务器搬迁和虚拟机动态迁移

对数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数据中心。在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络.

•  当服务器被迁至新机房，若未构建新老中心间的二层互联网络，则面临重新规划新中心服务器IP地址的问题。同时还需修改DNS，或修改客户端应用程序配置的服务器IP。因此，构建跨中心的二层互联网络可保留被迁移服务器的IP地址，进而简化迁移过程。
•  在服务器搬迁期间，经常在给定的时间内，只能将服务器群的一部分服务器迁至新中心，为保证业务连续性，需建立跨中心的服务器集群，因此构建跨越中心的二层互联网络可实现服务器平滑迁移。

与服务器搬迁类似的情况是“虚拟机迁移”。当前，一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移，如图3所示。迁移至另一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运行状态（如TCP会话状态），所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络（虚拟机在迁移前后的网关不变），这种应用场景要求构建跨中心的二层互联网络。

http://www.h3c.com.cn/res/201010/29/20101029_1095501_image003_697894_30008_0.jpg

图3. 虚拟机动态迁移

2 数据中心间二层互联的关键 —— 端到端环路避免

在数据中心间实现二层网络互联时，为了提升整网高可用性，必须保证数据中心互联链路冗余性，由此也带来了一个问题——二层环路。因此需要防止由一个远端数据中心的二层环路引起所有数据中心服务器接入网络的故障。消除二层环路技术包括：

•  在接入层网络使能生成树协议（STP）。
•  通过交换机虚拟化技术（如H3C IRF）消除二层环路。

2.1 生成树协议的设计要点

当STP域通过广域链路跨多个数据中心的接入层时，某个中心的故障会引起多个中心的网络震荡。因此在考虑数据中心二层互联的STP部署时，建议将STP域限制在每个数据中心内部。部署方式如图4所示，在数据中心二层互联交换机的面向互联链路的端口上，使能BPDU拦截功能和关闭STP。

http://www.h3c.com.cn/res/201010/29/20101029_1095502_image004_697894_30008_0.jpg

图4. 将STP孤立于数据中心内部

这种孤立和分割STP域的方案将简化数据中心二层互联的管理维护工作，即使在某一个数据中心的二层网络发生变化时，也不会导致由STP计算引起的整个二层互联网络的不稳定状态。

2.2 交换机虚拟化技术设计要点

交换机虚拟化技术（如H3C IRF、Cisco VSS等）是将多台交换机连接起来形成一台虚拟的逻辑设备。用户对这台虚拟设备进行管理，来实现对所有成员设备的管理。由于虚拟交换机系统已经被当作为一台设备，因此不同物理设备的端口可以被捆绑在一起被当作一个逻辑端口，在配置与组网上也完全相同于单台设备的端口聚合功能，这种特性被称为“跨设备链路聚合”。

对于数据中心服务器接入层来说，通常使用两台接入交换机对同类业务系统服务器进行接入，以满足服务器双网卡的上行要求，这种拓扑通常采用成VLAN跨汇聚的配置，并使能STP避免二层环路。当使用交换机虚拟化进行网络简化时，对网络汇聚层的虚拟化整合是必要的，因为这是消除STP的关键网络层。对接入层网络来说，有两种方式，如图5所示：

http://www.h3c.com.cn/res/201010/29/20101029_1095503_image005_697894_30008_0.png

图5. 虚拟交换机消除接入层环路

•  方式A，保持原有网络拓扑和设备独立性不变，将汇聚层做虚拟化，接入交换机双归属上联的两条链路直接进行捆绑，消除了环路，服务器网卡归属到独立的两台交换机。
•  方式B，在两台接入交换机之间增加IRF互联线缆，使得接入层也实现虚拟化整合，服务器双网卡连接的两台交换机虚拟化成一台，则这两台交换机的所有上联线缆可实现跨设备的捆绑，进一步减少逻辑链路数。

无论方式A或方式B，汇聚层的虚拟化都是必要条件，在以下讨论的各种方案中，都建议在网络汇聚层实现交换机虚拟化技术。