文/康乐

数据中心网络接入层是将服务器连接到网络的第一层基础设施，这里最常见的网络类型是用于局域网（LAN）连接的以太网，以及用于存储网络（SAN）连接的FC网络。为支持不同类型网络，服务器需要为每种网络配置单独的接口卡，即以太网卡（NIC）和光纤通道主机总线适配器(FC HBA)。多种类型的接口卡和网络设备削弱了业务灵活性，增加了数据中心网络管理复杂性、增加了设备成本、增加了电力等方面的开销。

FCoE技术，实现了用以太网承载FC报文，使得FC SAN和以太网LAN可共享同一个单一的、集成的网络基础设施，很好的解决了不同类型网络共存所带来的问题。然而，传统以太网LAN和传统FC SAN具有不同的技术要求，在拓扑结构、高可用性、传输保障机制、流量模型等方面存在较大差别。在数据中心网络接入层FCoE规划设计时，应该注意哪些问题？“FC SAN + Ether LAN = FCoE”的原则是否适用？希望通过本文的分析和探讨，给读者提供一些相关的设计思路。

1 FCoE技术部署模式

FCoE技术在网络中有两种部署模式，如图1所示。

http://www.h3c.com.cn/res/201012/23/20101223_1139182_image001_705337_30008_0.png图1. FCoE技术的两种部署模式

• FCoE只部署在服务器网络接入层。目的是实现服务器I/O整合，简化服务器网络接入层的线缆设施。服务器安装支持FCoE的10GE CNA网卡，并连接到接入层FCoE交换机（FCF或NPV），接入层交换机再分别通过10GE链路和FC链路连接到现有的LAN和SAN。
• 整网端到端（接入—汇聚—核心）的FCoE部署。FCoE技术的应用范围扩大到整网，除接入层交换机外，汇聚核心层交换机也支持FCoE功能；除服务器外，存储设备也逐渐支持FCoE接口。由此实现了LAN与SAN的融合，简化了整网基础设施。

FCoE整网部署是数据中心网络未来发展趋势，但在目前，业界还没有出现较为成熟的支持全网端到端FCoE部署的方案和产品，因此FCoE的网络接入层部署是当前的主要应用模式。此外，从保护用户现有投资（已建设的FC SAN）角度出发问题，也建议现阶段只在网络接入层通过FCoE实现服务器IO整合，简化接入层线缆部署，而保留原有LAN骨干与原有FC SAN骨干的独立性。为便于说明，后文以H3C S5820X（FCoE NPV 交换机）为例，说明服务器网络接入层FCoE的设计要素。

2 服务器网络接入层FCoE设计思路

FCoE技术是将FC帧封装在以太网帧中，允许LAN和SAN的业务流量在同一个以太网中传送。对于FCoE网络设计，应从网络模型的五要素着手考虑。

2.1 拓扑结构

服务器端安装CNA接口卡（10GE/CEE）,同时承担以太网 “主机”和FC SAN “Initiator”角色。服务器操作系统将CNA接口卡当做两个硬件设备（FC HBA和以太网NIC）进行配置管理。所以对操作系统而言，可以不考虑FCoE的存在。

如图2所示是FCoE接入层交换机端的拓扑结构。交换机的FCoE端口（ETH1/0/1）上承载三类VLAN：服务器VLAN（承载普通以太网报文）、存储VLAN（承载FCoE数据报文）、FIP VLAN（承载FCoE初始化协议报文）。服务器到FCoE交换机的报文中，FCoE数据报文采用TAG方式，FIP报文和普通以太网报文采用UNTAG方式。FCoE数据报文对应的VLAN ID，由FIP协议与FCoE交换机协商获得。在部署时，应将交换机的FCoE端口配置成Hybrid类型，允许存储VLAN报文以TAG方式通过，服务器VLAN报文和FIP报文以UNTAG方式通过，并将该端口的PVID设置为服务器VLAN的VID。当该端口收到除FIP协议以外的其它UNTAG报文时，将在服务器VLAN内转发该报文。这里将FIP VLAN配置成“协议VLAN模式”，是为保证服务器在获取存储VLAN的VID前，FIP协议能够通过“协议VLAN”完成FCoE初始化过程。接入层FCoE交换机在正常转发时，来自服务器的FCoE数据报文，通过存储VLAN（TAG方式）转发到交换机的NPV插卡，并通过NPV插卡的FC端口上行到FC SAN。而来自服务器的普通以太网报文则按正常流程转发（图2中的ETH1/0/10是接入交换机的ETH LAN上行端口）。所以，就接入层FCoE交换机而言，主要功能是将从服务器端接收的报文进行LAN业务与SAN业务分离。

http://www.h3c.com.cn/res/201012/23/20101223_1139183_image002_705337_30008_0.jpg图2. FCoE接入层交换机拓扑结构

2.2 高可用性

传统FC SAN与传统以太网LAN在高可用性设计思路有很大差异。以太网通过全连接和全冗余实现高可用，而FC SAN则通过多个独立的纵向网实现多路径负载分担和高可用性。因此，在进行网络高可用性设计时，应将FCoE网络中的SAN业务与LAN业务分开考虑，并应用不同的设计思路。如图3所示，一个具备高可用性的FCoE网络，分别由具备高可用性的FC SAN接入网和ETH LAN接入网叠加而成。

http://www.h3c.com.cn/res/201012/23/20101223_1139184_image003_705337_30008_0.jpg图3. FCoE的高可用

在FCoE网络中与SAN相关的高可用性设计要点如图4所示：

• 正常情况（图4.a）：服务器的两个CNA网卡通过两台FCoE接入交换机（SWA、SWB）分别向两个存储网络（SAN A，SAN B）进行注册，并借助操作系统中的多路径访问软件实现流量分担。
• 节点故障（图4.b）：当某台FCoE接入交换机发生故障，或某个存储网络内部发生故障，服务器相应一端的CNA卡将停止FC报文发送，服务器另一个CNA网卡不受连接的SAN网络不受此故障影响，仍可以正常工作。
• 链路故障（图4.c）：从服务器到存储网络侧，存在两段路径。其中服务器至每台FCoE接入交换机都是单链路连接，当此链路故障，则服务器通过另一侧FCoE链路实现访问。而接入交换机上行到FC SAN的链路可根据情况部署多条链路，所示。多链路情况下一旦其中某条链路故障，原本从该链路进行注册的FCoE服务器将自动切换至其它链路重新进行注册，不会影响业务使用，由此提高整网可用性。

http://www.h3c.com.cn/res/201012/23/20101223_1139184_image003_705337_30008_0.jpg图4. FCoE网络的高可性设计

在FCoE网络中与LAN相关的高可用设计要点如下：

• 从LAN的角度看，服务器的两个以太网卡采用NIC-Teaming方式上联接入两台交换机。接入交换机双归属与上行的以太网汇聚交换机，并通过MSTP+VRRP技术实现高可用设计。
• 当接入层采用N:1虚拟化（如H3C IRF）技术，将两台接入交换机虚拟化为一台逻辑设备时。服务器的CNA网卡的以太网端口可配置成以端口聚合模式，并与接入交换机采用跨设备聚合部署。但要注意的是，对于CNA的FCoE端口，考虑到FC SAN高可用性对纵向隔离性的要求，不能将FCoE端口进行聚合捆绑部署。

2.3 传输可靠性

传统的以太网是一种尽力服务的网络模式，当网络拥塞时有可能发生丢包，进而导致出现所丢数据包重传或超时现象。FC SAN网络依靠BB_Credit的流控机制，实现无丢包传输。FCoE技术实现以太网帧承载FC帧，因此要求以太网实现无丢包传输机制。目前， IEEE 802.1工作组和IETF正在制定CEE（融合增强型以太网）标准，目的是实现以太网的端到端可靠传输，如表1所示。在FCoE网络设计时，应在SAN业务相关的设备端口上部署CEE特性，以实现无丢包传输。

表1 CEE标准

2.4 网络服务

FCoE的网络服务分LAN和SAN两类：

• LAN网络服务包括防火墙、服务器负载分担、网流分析等。这些服务通常由LAN汇聚层设备提供。
• SAN网络服务包括DNS（名称服务器）、RSCN（注册状态变化通知）、FDMI（通过带内通信管理HBA卡等设备的机制）等。这些服务通常由FC SAN核心交换机提供。

对于FCoE在接入层的部署模式，可以不考虑上述网络服务对网络设计的影响。

2.5 流量模型

在FCoE网络中，SAN业务流量主要存在与纵向（从服务器到存储设备）。因此在设计FCoE网络时，可根据服务器数量和带宽需求，明确定义FCoE接入交换机上行SAN端口收敛比，以此提高SAN网络的传输性能。

3 结束语

回到最初的问题，在数据中心网络接入层FCoE规划设计时，“FCoE ？ = FC SAN + ETH LAN”。答案已经明确 —— 该等式成立。换句话说，FCoE在接入层的部署模式无需改变现有FC SAN的运行管理模式，实现了对已有FC SAN的投资保护，同时还减少了服务器接口和电缆数量，降低了服务器能耗。此时的FCoE网络设计就像是LAN接入层与SAN边缘层的物理叠加，结构清晰、配置简单，这也是现阶段FCoE技术最成熟的部署模式。