3 数据中心间二层互联方案探讨

3.1 承载于裸光纤的虚拟交换机二层互联方案

本文以H3C IRF为例说明虚拟交换机在数据中心间二层互联方案的应用，读者也可将此设计思路应用在其他厂商的虚拟交换机技术上。

如图6所示，有四个分布在不同位置的数据中心，各中心间通过DWDM设备组成一个环状的光传输网络，相邻数据中心间距离小于100公里。每个数据中心内部网络分为接入层、汇聚层和核心层。汇聚层设备采用IRF虚拟化，所以各中心汇聚层在逻辑上只是一台交换机。

http://www.h3c.com.cn/res/201010/29/20101029_1095504_image006_697894_30008_0.jpg图6. 四数据中心光纤环状互联

为实现四中心的二层互联，另需构建一个同时连接四中心汇聚层的互联节点，该节点由两台支持IRF的物理交换机构成，逻辑上为一台交换机。出于高可用性的考虑，这两台物理交换机应部署在不同的数据中心内（A中心和B中心），如图7所示。互联节点与各中心的汇聚层采用双链路捆绑互联。在逻辑结构上，四中心与互联节点构成了一个Hub-Spoke的星形拓扑，其中互联节点为HUB，各中心汇聚层为Spoke。另外，在A中心和B中心间，还需在DWDM设备上划分一个专用的波长λ，做为互联节点的两台IRF成员设备的互联链路，对于IRF虚拟化来说互联链路必须是10GE接口。

http://www.h3c.com.cn/res/201010/29/20101029_1095505_image007_697894_30008_0.jpg图7. 互联节点与各中心的拓扑关系

图8示出了各站点汇聚层与互联节点间DWDM光传输通道的连接关系。互联节点包含A、B两台物理设备，A设备部署在A中心，B设备部署在B中心。从A中心到互联节点有两条链路，其中一条链路是中心内的光纤，另一条链路承载于A、B中心间互联DWDM设备分配的波长λ上。B中心与互联节点连接方式与上述情况类似。对于C、D中心，从汇聚层到汇聚节点的两条链路都承载于DWDM设备分配的波长λ上。依次计算，四中心的二层互联需要占用8个DWDM的波长λ。其中2个λ（必须承载10GE）用于IRF互联，另6个λ用于各中心汇聚到互联节点的链路（A中心1个，B中心1个，C和D各2个，A中心和B中心各有一个链路使用本地光纤资源）。

http://www.h3c.com.cn/res/201010/29/20101029_1095506_image008_697894_30008_0.jpg图8. 汇聚层与互联节点物理连接关系

如“交换机虚拟化技术设计要点”一章所述，对于数据中心内部，为实现服务器双归属高可用接入，建议在接入层也部署IRF虚拟化技术。虚拟化后的接入交换机通过多链路捆绑方式上连至汇聚交换机，一方面可完全避免二层环路，另一方面充分利用接入层上行链路带宽。

这里需要注意，即使在没有环路的二层网络中，也应使能STP，以防止设备配置和物理链路维护中的错误。同时，虽然网络不存在环路，但STP仍有可能影响整个跨多个数据中心的二层网络。例如，当网络拓扑有变化时，TCN BPDU可能会通过二层网络扩展到数据中心以外。因此，有必要控制STP域的范围，对于使能STP的汇聚交换机，应在其面向互联节点的端口上开启BPDU拦截和关闭STP计算，使得各数据中心内的STP域互相分割。

3.2 承载于MPLS网络的VLL或VPLS方案

3.2.1 方案说明

这里所讨论的MPLS网络包括企业自建或由运营商提供给企业的MPLS网络，不管是哪种场景，实现数据中心二层互联的思路都相同：由一对数据中心互联设备（PE）发起二层VPN，实现二层网络（VLAN）在数据中心间的扩展。这里同样要注意端到端的环路避免问题。

承载于MPLS网的数据中心二层互联方案有两种实现技术：

•  MPLS VLL（Mpls Virtual Leased Line）：实现两数据中心的点到点二层互联。
•  VPLS（Virtual Private LAN Service）:实现多个数据中心的点到多点二层互联。

MPLS VLL是在MPLS网络上透明传递用户的二层数据。从用户的角度来看，这个MPLS网络就是一个二层的交换网络，通过这个网络，可以在不同站点之间建立二层的连接。VLL可以让两个数据中心的二层互联效果像直接用光纤连接一样。VLL技术通过给用户报文添加双层标签来实现转发：外层标签（隧道标签）是MPLS标签或GRE标签，用于将报文从一个PE传递到另一个PE；内层标签（虚电路标签）是MPLS标签，用来标识PE-CE间链路的标签。如图9所示为基于MPLS VLL技术的双中心二层互联方案。

http://www.h3c.com.cn/res/201010/29/20101029_1095507_image009_697894_30008_0.jpg图9. 基于MPLS VLL的双中心二层互联方案

VPLS是在传统MPLS VLL方案的基础上发展而成，也通过双层标签实现报文转发控制。VPLS可实现点到多点二层互联方案。利用VPLS技术可在MPLS网络上为多个数据中心间模拟了一个以太网交换机，基于MAC地址或者MAC地址加VLAN标识来做出二层端口间的转发决策。一个实现多数据中心二层互联的VPLS实例包括连接到多个PE的多个数据中心，数据中心CE设备（汇聚交换机）直接跟所有与该VPLS实例关联的其它CE（汇聚交换机）通信。在VLL和VPLS方案中心，将PE间建立的两条单向转发路径称之为一条虚链路。如图10所示为基于MPLS VPLS技术的三中心二层互联方案。

http://www.h3c.com.cn/res/201010/29/20101029_1095508_image010_697894_30008_0.jpg图10. 基于MPLS VPLS的三中心二层互联方案

按照传统网络设计思路，二层网络只部署在园区或数据中心内部，二层网络的范围不会很大，而且构成二层网络的物理链路都是很稳定的铜缆或光纤。将二层网络扩展到多个数据中心的方案，超出了二层网络协议对网络扩展性和链路质量适应性的要求。而三层网络来说（MPLS或IP），本身却很适合广域网长距离大规模组网。相对于二层网络来说三层网络比较稳定，并且有很多快速收敛技术（如BFD）用以保证网络高可用性，因此三层网络可以为二层扩展提供稳定链路质量的虚链路，任何发生在网络物理层的问题对承载于三层技术上的二层网络都是透明的。

3.2.2 VLL和VPLS方案中的二层环路避免

点到点的VLL方案在PE间无环路，多点互联的VPLS通过水平分割避免PE间环路。按前文所述（生成树协议的设计要点），每个数据中心都设计为一个独立STP域，因此在数据中心内也不存在环路。然而，由于数据中心汇聚（CE）通过双归属上行到PE，造成在整个多中心二层互联网络中出现环路，如图11的红色虚线。因此在规划多中心二层扩展方案时，应从端到端的角度去考虑环路避免问题。

http://www.h3c.com.cn/res/201010/29/20101029_1095509_image011_697894_30008_0.jpg图11. 多中心二层互联的环路问题

通常的思路是将STP域延伸至整个二层网络可避免多中心间环路，但由此将使网络故障域过大，且维护管理困难，形成“牵一发而动全身”的被动局面。因此，STP延伸方案不可取。避免环路的另一种方案是采用交换机虚拟化技术，分别将两台PE和CE设备各虚拟化成一台逻辑设备，并在PE与CE间采用双链路捆绑方式互联，则可实现端到端环路避免，如图12

http://www.h3c.com.cn/res/201010/29/20101029_1095510_image012_697894_30008_0.jpg图12. 多中心二层互联的环路问题

3.3 承载于IP网络的VLL Over GRE或VPLS Over GRE方案

当多个数据中心间只有IP互联网络时，可以借助VLL Over GRE或VPLS Over GRE来实现二层互联方案。VLL和VPLS技术方案本身需要在PE与对端PE间建立一条可承载多个虚链路（pseudowire）的隧道，这个隧道可以是MPLS或GRE隧道。对于VLL或VPLS的MPLS隧道实现来说，报文的外层标签为MPLS标签；相应的GRE隧道方式则为 IP+GRE 。因此VLL Over GRE方案和VPLS Over GRE方案在组网拓扑、二层环路避免等设计要素上，与基于MPLS隧道的VLL和VPLS的要求基本相同，此处不再赘述。

3.4 三种方案对比分析

从报文转发性能以及故障收敛时间来看，以上三种方案都可实现数据中心间二层互联，并且能解决端到端的环路避免问题。

数据中心间基于光传输网络和交换机虚拟化技术的Hub-Spoke星形拓扑方案，配置管理简单、扩展性强，如果需要互联的数据中心在城域网范围内，且采用光纤资源充足，则建议采用这种方案。该方案的链路利用率高（报文在多条互联链路间做分担），故障收敛快（小于1秒），既可以做点对点互联，也可做点到多点互联。

当数据中心间没有专用的光纤资源，或者由于相距太远（大于100公里）使得部署光纤的成本很高时，可选择基于MPLS或IP GRE隧道的VLL方案实现点到点的数据中心间二层互联，还可选择基于MPLS或IP GRE隧道的VPLS方案实现点到多点数据中心间二层互联。

三种方案的差异对比如表1所示。

表1 三种方案综合对比

4 结束语

数据中心内通常采用服务器二层接入方案，以实现灵活扩展能力。随着企业对业务连续性要求和计算资源灵活调度能力要求的不断提升，必然将面临二层网络在多数据中心间的扩展问题。本文提出三种不同实现方案，且都具备拓扑稳定、高可用和可扩展的特点，但各种方案亦有部署差异。方案没有最好的，只有最适合的。希望通过本文的阐述与分析，给读者一些帮助与启发，以便未来实现多中心互联时选择最适合的技术方案。