加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

谷歌独特和超前的数据中心

(2008-06-04 00:17:52)
标签:

跟着火炬看中国

互联网

谷歌

it行业

文件系统

博文

it

分类: CIO的IT时代

    任何成功都不是偶然,任何传奇背后都是对平凡的不平凡态度。
    谷歌也是个传奇。
    在博文为何谷歌的云计算能独领风骚?中分析了谷歌的技术和“民意”优势,在博文谷歌如何为用户保证搜索质量?中介绍谷歌对质量管理的精益求精,但除了这两点谷歌还有很多值得学习的企业文化,比如提倡的“对不可能说不”的创新意识。谷歌的创新和开拓意识在其对数据中心的管理维护上表现得尤为突出,毕竟谷歌的业务核心就是数据中心。
    据称谷歌全球有36个数据中心,服务器不计其数,如此庞大的计算和规模,是很多企业、IDC不可想象的。谷歌用自己独特的方式部署、运维,超出了传统的IDC概念和方式,绘出一副“云”的蓝图。
    Google的创始人Larry Page鼓励在公司中形成一种“健康的,对不可能说不”的气氛。IT技术的确

是可以说不的技术,笔者也有这种自信。谷歌在数据中心的建设和维护上就做到了“对不可能说不”。   

    笔者从如下几点来说明:

1、谷歌的技术“三宝”构筑数据中心和云计算的基础
   谷歌技术的“三宝”是GFS文件系统、BigTable大表、MapReduce算法
   GFS是谷歌自己的文件系统。至今除了谷歌,在数据中心运维上还没有谁自己开发文件系统这种十分

底层的技术。大家要么使用微软windows的文件系统,要么使用unix的文件系统。很显然有了自己的文

件系统,谷歌就可以有效地组织庞大的数据、服务器和存储,并让他们协同工作。
   BigTable大表也是谷歌特有的技术,这样的大表可以管理百万G的数据表,并让表的结构分布在不同

的服务器上。如果说文件系统是组织结构,那么大表就是对数据单元的组织。
   有了文件系统和对数据单元的组织,接下来谷歌必须有处理和运算的逻辑算法,谷歌称之为

MapReduce算法。MapReduce算法是谷歌搜素技术的核心,这种算法也可以跨服务器跨软件进行。
   如同微软的windows一样,谷歌的技术“三宝”也成了其基石。

2、依靠软件的组织和多硬件组成数据中心的“云”结构

    由于企业数据中心各个业务系统的独立性,导致了在硬件服务器上零乱和依赖,因此传统的数据中心,

是以硬件为主的,为了提高应用的访问质量,企业不得不购买高档的硬件服务器。
    但是谷歌恰恰相反,他们依靠的是软件。谷歌的技术三宝从设计上就考虑到了分布式、负载均衡、

服务器组织和管理等要素,因此硬件服务器完全可以在这些软件的控制之下良好地工作。即使出现宕机

,也可以依靠其容错技术很快进行任务转移。
    在软件的组织之下,众多的服务器被组织成群集单元,不同的群集之间也相互协作,参与服务和计算。

3、通过软件功能保证SLA服务器质量
   谷歌强调使用软件保证谷歌平台的可靠性。这点和很多企业的IDC完全不一样。比如IBM、华为等,

他们数据中心里都有价值几百万、甚至几千万的硬件服务器以支撑特殊的业务应用,例如ERP等等。每

次应用出现问题,很少有可能去完善应用的性能,而更多的是增加硬件成本,购买高性能的硬件。这种

思路其实是数据中心的误区,会浪费大量的投资。
   谷歌这种策略能够尽可能地使用服务器资源,保证服务器被充分使用。特别是在处理宕机这种问题

的时候,可以依靠软件迅速地平滑过度,实现任务转移,以最快的速度保证SLA指标。

4、喜欢多核芯片配置,并行计算处理

   谷歌庞大的数据量和计算量,迫使谷歌全方位地考虑如何提高计算速度并输出结果。从软件到硬件

,再到硬件服务器的芯片,这些都是重要的因素。谷歌的软件策略不仅从宏观上支持多服务器的群集,

还从芯片上支持多核芯片的处理。因为多核机器的作用类似多台单独的服务器。
   所以当谷歌进行计算的时候在软件的组织下是众多的服务器参与,也是众多的芯片参与。
    
    总之,谷歌面对的技术难题是难以用微软这些传统软件霸主的技术来解决的,其业务特点和商业模式必须让谷歌自己客服这些技术,并走出一条自己的路。

    谷歌的模式不仅改变了传统软件计算,还在改变传统的硬件部署和数据中心的运维,由此也奠定了其“云计算”的蓝图,形成了决定未来十年IT格局的核心力量。

   

《无以言退》被誉为最实用、最文学的现代职场小说

-----------------------------分享观点*启发思维*捕获灵感*抓住机遇---------------------- 

CIO IT时代预测未来IT的八大趋势  Windows视窗即将崩溃 《编程之美》和《无以言退》 微软又要让Windows发胖了  关注高科技行业员工生存状况 对欧美100位CIO的调查 美国IT行业人才需求旺 IT行业依旧充满前景 IT行业步入互动礼法和情义阶段 谷歌如何为用户保证搜索质量? 为何谷歌的云计算能独领风骚?

真实华为一位华为IT总监 职场是学习和感恩的  让人难忘的华为ERP培训的一堂课  在华为参加企业礼仪的培训 对高科技的赞美 狼性的具体化 回味华为的灰色管理

职场经历一位华为主管:跳槽象离婚  转载:我读《无以言退》 程序员如何解除职场的困惑?  IT职场:离开很容易,留下来才是修行  无言以退的大学和无以言退的职场

文学文化顾彬的批评:文学缺乏力量,作家缺乏更高的坚持  文学的积极和消极  一杯清茶渐渐浓--清明节  从舒婷和杨键获奖解读诗坛的低迷   
  

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有