从2005年到2012年，从全球85个数据中心到3地6中心。HP借助标准化技术以及严格的IT管理体系，打造了支撑全球化业务的新一代数据中心。

文/王晨

二十一世纪初期惠普在全球共有85个数据中心，其中30个数据中心与微软公司共用，区域计算单元约300个，广域网站点1000多个。全球数据中心面积合计超过60000平方米以上，服务器机柜超过13000个，服务器达到20000台以上，共承载9000多个应用。数据中心空间年增长率达到了6%。随着全球化业务的快速部署、企业的并购、业务零时差的运行，分散的数据中心效率底下的问题日益突出，因此2005年HP启动了数据中心整合工程，内部又简称为NGDC工程，该工程于2012年告一段落，最终建成为3地6中心（如图1所示）。

http://www.h3c.com.cn/res/201307/08/20130708_1626775_image001_790133_30008_0.jpg

1 建设进程

http://www.h3c.com.cn/res/201307/08/20130708_1626776_image002_790133_30008_0.jpg

如图2所示，在2005年，HP开始启动数据中心的整合工程。由于整个工程时间计划安排十分紧凑，HP必须充分利用已有资源进行改造。2006年HP完成了休斯敦3号机房的改造，这个机房也是HP当时85个数据中心中最大的一个。2007年，HP并购了一些企业，并将这些企业中的两个数据中心建设改造为奥斯丁1号和亚特兰大5号数据中心。因为是资源利旧，这三个数据中心的改造升级工作进展较快。

同时，在2007年，HP在这三个城市又新建了另外三个数据中心。数据中心整合共计三年，除了休斯敦3号在2006年就已经改造完毕之外，其他5个数据中心均是在边使用边建设的状态下建设完成。由于休斯敦3号和休斯敦4号两个数据中心的距离较近，不符合HP制定的同城中心距离15-20英里（24－30km）的距离标准，因此在2010年HP开始新建休斯敦西部数据中心，替代休斯敦3号机房，也正是这个时候HP引入了H3C网络，以休斯敦西部数据中心为试点，使用了6个月的时间，HP将内部网络设备全部替换成H3C产品。

http://www.h3c.com.cn/res/201307/08/20130708_1626777_image003_790133_30008_0.jpg

事实上，并不是所有的服务器都部署在这6个数据中心内，如图3所示，HP还存在一些针对本地应用而部署的本地计算单元SIM（ Site Infrastructure Module）, 它们仅针对本地提供服务。因此针对那些可靠性要求较低且具有区域性的应用系统，其版本的升级与维护工作基本全部在SIM内部完成。在后来的发展中，还增加有远程计算单元RCS（Remote Compute Space）, RCS具有一定的计算能力、较宽的带宽，用以承载低可靠性应用。

目前HP全球有60个左右的SIM，后续会逐步整合到40个区域的RCS中。

2    数据中心的高可用性和模块设计

虽然已经充分整合了IT系统，但HP仍拥有大量的业务系统，数据中心的可用性对HP至关重要。

HP将高可用性分为两种模式：一种是HA高可用性，另一种是业务的永续性。针对同城之间的两个数据中心（同一个Zone，不同Site间）的可用性采用业务永续性的方式，针对不同的区域之间（不同Zone间）则采用灾备方式实现高可用（如图4所示）。

http://www.h3c.com.cn/res/201307/08/20130708_1626778_image004_790133_30008_0.jpg

从应用的角度看，高可用性采用两种模式：一种是同城有两个数据中心，应用在两个数据中心是双活的（Active），在异地的另外一个数据中心做灾备。第二种模式是指系统不支持在同一个城市的两个数据中心实现双活，而是实现在一个数据中心是活的，另一个城市的数据中心也是活的，然后同城的数据中心作为灾备。

为了保证 IT系统的高可用性，HP所有的应用在交付时，架构都是标准化的，包括集群技术、存储复制等，这方便了不同的负责高可用性的团队每个月的测试和故障切换的演练。

HP 按照紧急性和重要性将应用分成四个等级，Tier 0级的应用是最高级别的，所有的1700个应用中大约1%的应用属于这个级别，Tier 1、2、3 级是按照业务重要性依次递减的。

从0级到2级，这几个级别对于故障恢复和高可用性要求都很高，因此故障恢复是Site to Site之间，采用同城双中心的方式。Tier 3级别的业务对可用性要求不高，主要在本地部署。

灾备方面，只有Tier 0级实现了Zone to Zone的两个不同城市间的异地灾备。

名词解释：Zone、Site、Module、Cell、Pod

HP数据中心采用标准的模块化设计，根据规模可以划分为：

Zone，表示在一个城市中，提供IT服务的区域，其包括1个或多个数据中心站点，在HP数据中心中，其表示在一个城市中的同城双中心；

Site，表示一个物理的数据中心，在HP数据中心中，对应1到6号数据中心，一个数据中心可以由多个建筑物组成。

Module，表示一个数据中心内的一个物理建筑；

Cell，是集服务器、存储和网络于一体的服务单元；Cell能够根据业务的发展进行横向与纵向的扩建。例如在一个数据中心内部，HP建立了4个Cell，其中两个运行相应的应用系统，另外两个便可以等到业务扩容时使用。一个Cell约占地两万五千平方英尺（约2500平方米），对于老的Cell耗电大概是2.4兆瓦，可以承载约2500台服务器，目前HP一个新的Cell耗电是4.8兆瓦，但可以承载约7000台服务器。

POD，在Cell下面是POD数据集装箱的模块，在每次扩展时，可以很快部署一个POD，对业务进行整合并扩展。

3    高性能与负载均衡助力双活

由于域名很方便修改，HP大量的业务，特别是核心业务均采用WEB、APP、DB架构设计，该架构为HP业务双活提供了前提基础。

双活是指一个应用在同城的两个数据中心的（部分业务）都是活的（Active），这样的应用占HP全球业务数量的1%，即一个应用在Site1是活的，在Site2同样也应是活的，两个Site之上部署全局负载均衡设备，由其来调度流量，将应用灵活的加载到相应的站点上。

负载均衡设备面向公网和HP内网服务，公网或内网用户通过GSLB（全局服务器负载均衡）选择提供业务的Zone和Site，然后再由SLB（服务器负载均衡）为用户选择最佳的服务器实现业务响应。HP在每个Site都部署了4台GSLB（两台部署在广域网出口，两台部署在Internet出口）和50台SLB。大量使用负载均衡设备主要是为了数据中心应用的随时扩展，在HP有的应用可能会产生1600万的并发连接，而通过负载均衡可以随时扩展业务能力（如图5所示）。

http://www.h3c.com.cn/res/201307/08/20130708_1626779_image005_790133_30008_0.jpg

为了确保Internet用户和HP内网用户到这6个数据中心的使用体验，HP建设了高速的核心网并在全球各大运营商租用了高带宽线路。其中Zone与Zone间通过1条10GE光纤互联,形成一个骨干环网，Site与Site间通过3*10GE互联，Site与分支通过3*500GE MPLS互联，Site与Internet通过2*10GE互联，也正是因为在美国具备充足带宽，HP的6个全球数据中心均建设在美国。如图6所示，GSLB部署在每一个Site的骨干路由器边缘或Internet出口边缘，以确保可以第一时间响应来自世界各地的请求，并查询到最佳响应服务器的地址反馈给客户，后续客户的所有数据流量将按照路由计算出的高性能网络进行传输。

http://www.h3c.com.cn/res/201307/08/20130708_1626780_image006_790133_30008_0.jpg

应用层两个Site都是活的（Active），不管那个数据中心发生故障，业务永远都是处于工作状态。目前，HP的站点之间还没有构建大二层网络，业务切换完全是通过域名系统和全局负载均衡来实现的，包括WEB访问APP和APP访问数据库都是通过域名访问的，这样GSLB在两个站点之间可以选择一个最合适的服务器访问（如图7所示）。

http://www.h3c.com.cn/res/201307/08/20130708_1626781_image007_790133_30008_0.jpg

如图7所示，在数据库层，两个数据中心为主备模式（Active－Standby），原因是数据库技术只能支持一个Site的数据是Active状态，通过采用数据同步复制技术，保证了两个中心的数据一致性，当有数据进行写操作时，数据被写到Active的数据中心存储中，同时也复制了一份到Standby的数据中心存储中，一旦Active数据库发生灾难，可以自动或手动启动Standby的数据库，使其变成Active的。

4    数据中心的云化

HP作为云计算领域的领导者与实践者，在2010年就开始在数据中心中规划云业务，HP的数据中心将会逐步过渡到云中心，进一步的实现资源整合，同时便于全球业务的快速扩展与加强企业间合作。

HP 内部定义了三种云，第一个是HP的IT公司云，即私有云；第二个是大数据云，有大量的Hadoop和大量存储系统专门做大量的数据分析，数据发掘等工作，可扩展性好；第三个是SaaS云（软件即服务云），主要针对外部客户进行服务。三种云因为用户不同，对云的需求也不同（如图8所示）。

l  私有云，对网络进行条带化，在部署实现过程中，主要使用到了802.1Qbg技术。每一个虚拟出来的服务组或虚拟防火墙组里都进行VLAN 划分，通过QinQ技术可以将虚拟出来的VLAN和外部VLAN 结合起来。针对虚拟化业务可以实现编排，全部写入到编排引擎，不同业务用不同的接口，如有iMC的接口、F5的接口、BlueCat接口等等，这些接口帮助HP实现了自动化。

l  大数据云，是一个高速的网络架构，在大数据云中存在大量的点到点流量，对网络速度要求很高，在2009年网络改造时，HP大量使用了H3C S12500、S9500E、S5800等高端交换机。因为网络速度较高，因此安全防护主要通过交换机插卡防火墙的方式实现。

l  SaaS云，软件即服务云主要服务外部客户，考虑因素主要是安全性以及多租户。

云计算的应用要求网络可以随云而变，因此为了提高业务的灵活性网络必须具备各种虚拟化能力，HP在数据中心内大量使用了MDC、IRF以及EVI等技术,另外，HP还制定了全网大二层的规划。

http://www.h3c.com.cn/res/201307/08/20130708_1626782_image008_790133_30008_0.jpg

目前HP数据中心内所承载的三类云应用基本分布在不同的Zone，使云资源受限于单个Zone的空间、物理资源。为了使业务与资源解耦合，多个Zone或Site间必须建立多条L2或L3链路，即使数据中心之间增加更多的连接，基于对现网的保护，HP计划在每个Site增加1台S12500核心设备和3条跨Zone的10GE以太网链路，并运行标准的IEEE PBB技术实现骨干网链路虚拟化和层次化，使之具备跨广域的大二层组网能力，满足HP未来业务的大量VLAN需求。在完成PBB组网后，HP 95%以上的设备自动化管理可以通过H3C iMC实现（如图8所示）。

5    结束语

HP作为世界上规模最大的IT公司之一，同时作为云计算技术与实践的引领者，其IT应用代表着全球IT应用的一流水平。HP新一代数据中心——NGDC实现了Cisco Free（由思科设备全部替换为H3C设备），HP双活网络均由H3C的网络设备承建。

HP数据网络工程部主管Andy Thiberville将整个整合过程总结为："HP NGDC最大的成功是其始终坚持不懈的使用标准化技术，以及所执行的严格的IT管理体系"。未来HP将会继续使用标准化技术，如PBB、基于DNS的业务迁移等等，建设多活云中心。