文/杨武

随着云计算应用的大规模普及，为适应新的业务需求和降低成本，越来越多的用户正在将网络迁移到基于云业务的模式，安全性和运营效率的用户体验得到前所未有的关注。

相比传统网络，云计算网络的流量模型发生了变化，从外部到内部的纵向流量加大，云业务内部虚拟机之间的横向流量也加大。随着Wi-Fi、3G、LTE的大量部署，移动业务流量逐步增长，小区带宽提速进一步促进视频业务快速增长，为满足云端业务接入需求，路由器必须具有高性能的接入和汇聚能力。为提高服务器资源利用率，实现虚拟服务器动态迁移，支持大二层网络的路由器已经由1G向10G、40G、100G平台迁移。因此为保证未来业务开展，整个云计算数据中心网络都必须具有高的吞吐能力和处理能力。

同时，云时代的云端安全接入和云间安全互连也对汇聚路由器提出了更高的要求。在云时代，安全接入不再仅仅满足“移动办公和分支互联”的部分用户的需求，而是要满足接入“云中心”的所有终端的共同需求，同时还要实现不同用户之间的相互隔离，解决多租户环境给企业安全管理人员带来的困扰；云间互连也不仅仅要满足数据中心之间高速互连的需求，还要满足企业业务安全需求，防止数据中心云间网的恶意攻击和窃密。这些都要求路由器必须支持高性能的防火墙、GRE、L2TP、IPSec、SSL VPN、Get VPN、DVPN等各种业务功能，且能够提供大容量的并发用户或并发隧道。

随着服务器的虚拟化及多租户业务部署，云计算环境下的网络流量无序突发冲击会越来越严重，为保证云计算服务的服务质量，路由器设备必须支持更强大的流量管理功能和突发流量时的处理能力，尤其一些对延迟要求严格的业务。在云时代，为了灵活和快速的部署业务，提高链路资源利用率，以及进一步提高网络可扩展性、可靠性和可用性，路由器设备支持虚拟化技术可以有效降低管理和部署成本。

由此可见，云时代的汇聚路由器需要具备高性能和大容量，集成各种业务功能满足数据中心的安全接入和安全互连，支持服务器的动态迁移，还需要满足快速部署业务，提高网络的可靠性、资源利用率和降低成本的需求，以及应对日益复杂化的网络流量，这也就是我们讲的新一代“云业务路由器”。

基于上述需求，H3C SR6600-X路由器采用全业务分布式处理架构，内置自主研发Apollo硬件业务内核和最新一代网络多核处理器，支持跨广域网汇聚虚拟化技术和云间安全互连技术，满足云时代的高性能、大容量、扁平化和虚拟化的需求，而且能够同时汇聚更多用户，支持面向用户的业务能力，并针对各种基于云的数据流进行精细化区分和QoS保障，保障客户端在连接时的安全性、可靠性，支持用户的安全接入和数据中心的高速安全互连。

一、全业务分布式处理架构

受到当前计算机工艺水平的限制，集中式硬件架构的路由器设备只能达到一定的工作频率和处理能力，为了提高单节点路由器设备的处理性能，业界通常采用分布式转发架构，即单台路由器设备支持多个接口板，每个接口板是一个独立的转发业务系统，多个接口板产生的累加效应可以有效提升整机的吞吐量和转发性能。

传统高端路由器的接口板上通常采用专用的网络处理芯片，支持大容量的路由转发表和相对单一的数据包处理流程，以满足高端路由器对性能和吞吐量的需求。然而，出于成本考虑，这种分布式转发架构的接口板并没有叠加或者无法叠加防火墙、NAT、IPSec、DVPN、NetStream等各种复杂业务。

为了弥补上述缺陷，业界通常的做法是在基于分布式转发架构的路由器上增加独立的业务板实现对特定业务的支持（如图1所示），如为了支持NAT业务开发专用的NAT业务板，为了支持IPSec开发专用业的IPSec业务板等等。但这种设计方式将增加用户额外的投资，用户不仅需要购买各种昂贵的业务处理板，还需要为这些业务板购买槽位数更多的设备。此外，独立业务板使得原本分布式转发的硬件体系架构在业务处理上又回归到集中式处理，从而再次面临业务性能瓶颈的问题。由此可见，这种设计架构使得高端路由器无法同时满足高性能转发和复杂业务处理的需求。

http://www.h3c.com.cn/res/201208/28/20120828_1395006_image001_751469_30008_0.png
图1 传统高端路由器的集中式业务处理架构

为解决上述问题，H3C提出“全业务分布式处理”的理念。SR6600-X路由器接口板采用Apollo高性能业务处理硬件内核和最新一代高性能网络多核处理器，再配合Comware操作系统，不仅实现了数据包在接口板上的高性能分布式转发，而且把传统分布式路由器需要集中处理的NAT、GRE、NetStream、L2TP、IPSec、DVPN、防火墙等复杂业务特性都分散到各个槽位的接口板上，从而实现了全业务的分布式处理。在此架构下（如图2所示），每个接口板上集成了所有的业务并可得到直接处理，且每个接口板的业务性能达到甚至超过传统高端路由器独立业务板的性能，多个接口板产生的累加效应可以有效提升整机的业务性能，因此基于全业务分布式处理架构路由器的整机业务性能远远高于传统高端路由器的整机业务性能。用户无需购买任何额外的独立业务板并为这些模块预留单独的槽位即可在线部署丰富的业务，部署成本降低的同时也消除了业务集中式处理而产生的性能和带宽瓶颈，具有极高的性价比。

http://www.h3c.com.cn/res/201208/28/20120828_1395007_image002_751469_30008_0.png
图2 SR6600-X全业务分布式处理硬件架构

二、Apollo硬件业务内核

1.  多业务硬件流水线并行处理

传统的嵌入式处理器（CPU）虽然可以灵活的通过软件编程实现复杂的业务，但缺乏基于硬件的流量优先级管理机制，并且转发效率相对较低。而网络多核处理器（Network Multi-core Processor），通过多核并行处理数据报文，以及内置的硬件加速引擎，一定程度上满足高性能业务的需求。越来越多的网络设备供应商，顺应网络业务发展趋势，基于多核处理器上开发各种业务，满足网络多服务需求。但随着多种业务流量的叠加，与传统的嵌入式处理器类似，网络多核处理器的报文处理性能不可避免会趋于下降，尤其是复杂业务可能导致性能直线下降，不同业务之间的优先级保障也会变得十分困难。

基于硬件流水线的传统网络处理器（NPU）能够提供较高的转发性能，但由于其使用微码编程并且受微码指令空间的限制无法进行灵活的报文处理，相对固定的流水线无法灵活的处理业务，在多种业务叠加时，它们都要经过一个冗长的报文处理流水线，极大地影响了报文处理时延和吞吐量。可见，传统的网络处理器无法满足日益多样化的业务需求，通常设备厂商使用独立的业务板解决此问题。

表1 各种转发引擎实现的接口板的转发性能和业务特性比较

鉴于传统的通用处理器、多核处理器和网络处理器在多业务处理中面临的问题，H3C自主研发了集路由转发和业务处理于一体的Apollo硬件业务内核（基于40nm技术的FPGA平台），并和强劲的网络多核处理器协同工作，大幅提升路由器并发业务处理能力，带来更优的用户体验。表1中列举了嵌入式处理器、网络多核处理器、网络处理器和Apollo的基本转发性能和业务性能的比较。

http://www.h3c.com.cn/res/201208/28/20120828_1395008_image003_751469_30008_0.png
图3 Apollo硬件业务内核架构 

Apollo（硬件业务内核架构如图3所示）采用多业务硬件流水线并行处理，业务叠加不影响转发性能，如使能QoS、URPF、PBR、ECMP、MPLS L2VPN、L3VPN、防火墙、隧道、组播、NetStream等转发和业务时，不影响IPv4、IPv6和MPLS的基本转发性能，并伴随着这种多业务硬件流水线并行处理结构使得多种业务可以快速的叠加在原有的网络架构下。此外，Apollo采用上行和下行业务独立处理，上下行业务处理互不影响。

Apollo采用固定的低时延硬件流水线结构，无论是大包还是小包，无论是简单业务还是复杂业务，都能够提供较低的时延和抖动性，有效保证业务的实时性，满足日益复杂的网络应用环境的要求。

Apollo分布式调度器和虚拟输出队列（VOQs）确保交换矩阵无丢包及端到端的流量控制，且业务的分布式跨板转发无带宽瓶颈。

Apollo实现了多种业务整合和高效运营，一个Apollo可以实现多个传统网络处理器的业务性能，并融合各种业务特性。如图4所示为Apollo的IPv4/IPv6单播转发、IPv4/IPv6多播转发、MPLS转发、PBR/URPF、防火墙、隧道的实测性能，因此一个Apollo能提供高达20Gbps的业务处理能力。 

http://www.h3c.com.cn/res/201208/28/20120828_1395009_image004_751469_30008_0.png
图4 Apollo实测性能

Apollo组播复制单元与交换矩阵的组播复制配合（如图5所示），使路由器形成上行组播复制、交换网组播复制、下行组播复制的三级组播复制架构，这种硬件架构减少了承载语音、视频等业务时对系统带宽的占用，保证了组播业务的流畅运行。

http://www.h3c.com.cn/res/201208/28/20120828_1395010_image005_751469_30008_0.png
图5 SR6600-X三级组播复制架构

2.  先进的内存管理和表项访问机制

传统的通用处理器和多核处理器通过访问内存进行操作系统管理、路由查询、会话查询、ACL匹配、报文头剥离/贴头、组播复制和QoS处理等，几乎所有的操作都需要访问内存，但实际上内存控制器数量有限、内存带宽利用率低，且内存访问会影响处理器性能。所以传统处理器在处理复杂业务时，频繁的查表访问内存，可能会导致性能的急剧下降。

传统网络处理器通常使用TCAM进行大规模的路由查询和会话查询以及ACL匹配，但TCAM存在成本高、功耗大和路由更新复杂等问题。同时报文分类等处理也需要借助于TCAM，因此在一个多业务路由器平台上，通常需要对TCAM进行分区来实现不同的业务，这样也导致了业务表项规模受限以及性能瓶颈等问题。

Apollo在设计上采用了8个内存控制器的硬件架构，分别对上行报文缓存、下行报文缓存、虚拟输出队列、各种转发表、各种业务表等进行访问，并使用创新的专利算法，提高内存访问利用率和查表效率，满足通信业务需求，保证所有内存相关的查表和报文缓存满足20Gpbs吞吐量处理需求，无带宽瓶颈，而且可以提供TCAM方案难以企及的大并发业务表项容量。

3.  灵活的QoS处理能力

Apollo提供了一个非常灵活的流量管理引擎，支持层次化服务质量保证（H-QoS），可以实现20Gbps性能的基于端口、用户组、用户及用户业务的多级QoS调度，包括拥塞队列管理、拥塞避免、流量监管、流量整形、优先级标记等功能，可保证不同业务的带宽、时延和抖动，满足不同用户、不同业务等级的“区分服务”；另外提供20Gbps流量的200ms的强大包缓存能力，可解决网络大突发流量引起的丢包问题。

4.  Apollo与网络多核处理器的平衡艺术

如图6所示为SR6600-X路由器接口板的硬件架构，Apollo负责接口板的IPv4、IPv6、MPLS报文查表、转发，支持URPF、PBR、NetStream、防火墙、ACL、隧道、组播等业务，多核处理器作为Apollo的协处理器，完成IPSec加密/解密、表项下刷、单板管理、以及其它复杂业务处理，两者配合可充分满足用户高性能业务处理需求。通过Apollo与多核处理器的平衡处理，使得SR6600-X路由器既能满足高转发性能和高业务性能的需求，也能兼顾开发快速和灵活性。

http://www.h3c.com.cn/res/201208/28/20120828_1395011_image006_751469_30008_0.png
图6 基于Apollo的高性能FIP-600接口板硬件架构

以Apollo硬件业务内核和最新一代多核处理器为业务处理引擎的SR6600-X路由器，一方面克服了CPU和多核CPU的性能瓶颈，另一方面也摆脱了网络处理器在业务处理中的尴尬境地，业务的高性能和灵活性得到了完美的兼顾。在提供强悍转发性能的同时，SR6600-X对各种复杂的业务做到了分布式并行处理，极大的提高了单个接口板以及整机的业务处理能力，无需任何额外的业务板投资即可满足用户对业务功能和性能日益增长的需求。 

三、跨广域网汇聚虚拟化技术

H3C IRF（Intelligent Resilient Framework，智能弹性架构）网络虚拟化技术最初应用在交换机产品上，它的核心思想是将多台网络设备通过IRF物理端口连接在一起，进行必要的配置后，虚拟化成一台设备。使用这种虚拟化技术可以集合多台设备的硬件资源和软件处理能力，实现多台设备的协同工作、简化部署、统一管理和不间断维护。

在路由器上支持IRF，可以扩展路由器的处理能力、系统带宽和端口数量。当中心设备的转发能力不能满足需求时，可以通过增加新设备与原设备组成IRF系统来实现性能倍增；当边缘设备的上行带宽增加时，也可以通过增加新设备与原设备组成IRF系统来实现带宽翻番；当接入的用户数增加到原设备的端口密度不能满足接入需求时，也可以通过增加新设备与原设备组成IRF系统来实现端口数量累加。

使用IRF可以简化路由器管理。通过光纤将相距遥远的设备连接形成IRF设备，不仅可以简化网络结构，提高网络的可靠性，而且对多台设备的配置简化成对IRF系统的配置，降低了管理和维护的成本。

同时IRF可以简化路由器组网，提高网络可靠性。传统组网一般使用MSTP、VRRP等协议来支持链路冗余、网关备份。使用IRF后，汇聚层的多个设备成为了一个单一的逻辑设备，接入设备直接连接到虚拟设备。这个简化后的组网不再需要使用MSTP、VRRP协议，简化了网络配置。同时依靠跨设备的链路聚合，在成员出现故障时不再依赖MSTP、VRRP等协议的收敛，且能提供比VRRP更快的链路故障收敛时间，提高了可靠性。

http://www.h3c.com.cn/res/201208/28/20120828_1395012_image007_751469_30008_0.png
图7 SR6600-X路由器支持跨广域网汇聚虚拟化

面向广域网业务整合的需求，SR6600-X路由器以IRF技术为依托，实现跨广域网汇聚虚拟化，将两台路由器设备虚拟化为一台逻辑设备，在提升设备性能的同时，使整网收敛速度更快，并简化配置，降低运维成本，提高组网可靠性（如图7所示）。同时SR6600-X路由器支持以太网、POS等广域网链路接口跨设备捆绑，实现多条广域网上行链路的负载分担和互为备份，提高整个网络架构的冗余性和链路资源的利用率，并且在对外提供的捆绑链路（含跨框、跨板）上，可以提供丰富的业务特性，如QoS调度、NAT、网流分析、加密、隧道等等。

四、云间安全互连技术

近年来，面向云计算数据中心的服务器集群技术（Server Cluster）和虚拟服务器动态迁移技术（如VMware的VMotion），在数据中心容灾及计算资源调配方面得以广泛应用。

服务器集群，是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。虚拟服务器动态迁移是一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移。一方面，多数厂商的集群软件需要各服务器间采用二层网络互连，将集群中的服务器部署于不同数据中心，可实现跨数据中心的应用系统容灾。另外一方面，虚拟机迁移保留原有的IP地址和运行状态（TCP会话状态），二层互连网络可简化迁移过程和保证业务的连续性。由此可见，这些应用场景不仅要求数据中心内实现大二层网络接入，而且要求数据中心间也实现大范围二层网络扩展，也就是我们讲的“云间网”。

用户选择数据中心二层互联的前提要素是明确用户在多个数据中心之间具有哪些网络资源。目前主要的网络资源有裸光纤或DWDM、MPLS网络和IP网络（如表2所示），数据中心网络互连需要在此基础上考虑性能、HA、L2管理和安全等因素。IP网络可以摆脱数据中心之间互联链路的类型限制，在任意IP网络开启相应的二层隧道来实现数据中心的互联，是未来云间网络发展的一个方向。

说明：本表组网方案和技术中，并未列举所有私有标准技术。

表2 现有数据中心大二层网络解决方案

当前，“黑客”对网络的攻击、窃密事件层出不穷，现有的数据中心大二层互连网络解决方案由于协议本身存在的缺陷，云间传输报文未被加密处理，导致了网络的安全性较低，数据在云间网络中极可能被监听窃取。为解决此问题，SR6600-X通过云间二层安全隧道技术，使数据中心间大二层网络报文被加密保护，提高了云间网数据传输的安全性。

以现有的IP核心网络为例（如图8所示），在SR6600-X云间安全传输方案中，每个数据中心配置两台路由器作为PE设备，每个数据中心的汇聚层设备作为CE设备。在CE核心交换设备上应用IRF技术，支持链路聚合，保证CE上行至PE的两条链路能够实现故障快速切换。该方案具有明显的优势：兼容性强，能够兼容所有的IP网络；IRF切换速度快，带宽利用率高，能够提高系统的HA性能；报文加密传输，安全级别高。 

http://www.h3c.com.cn/res/201208/28/20120828_1395013_image008_751469_30008_0.png
图8 SR6600-X通过云间二层安全隧道技术提高云间数据传输的安全性

五、结束语

随着智能终端和移动互联网的飞速发展，云时代已经到来，并且正在加速前进。云业务路由器设备“门槛”越来越高：支持物理和虚拟平台，内置各种业务特性，跨越分支机构、数据中心、各种私有云、公有云和混合云；简化操作过程和提高效率，分支合并、统一管理、灵活部署，降低成本；提高资源的利用率和可靠性，并支持第三方的云服务迁移企业关键业务；提高云业务安全性以及业务的灵活，实现快速部署，保护用户数据和服务的安全。