加载中…
个人资料
周雄伟
周雄伟
  • 博客等级:
  • 博客积分:0
  • 博客访问:29,686
  • 关注人气:9
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

图解Hadoop分布式文件系统工作原理

(2012-03-16 19:50:17)
标签:

杂谈

分类: Database/Datatech

微博上看到的一张关于HDFS的图片,形象生动的解释的HDFS的工作原理,再确切一点是 写操作的的基本过程:

  1 一个集群中只有一个NameNode,可以有多个DataNodes

  2 namenode 承担数据的位置存储信息,并将存储位置信息告诉client端!

  3 得到位置信息后,client端开始写数据

  4 写数据的时候是将数据分块,并存储为多份(一般为3份),放在不同的datanode 节点!

  5 client 先将数据写到第一个节点,在第一个节点接收数据的同时,又将它所接收的数据推送到第二个,第二个推送到第三个节点,如果有多个节点,依次类推。。

  6 从图中可以知道 NameNode 不参与 数据块的IO的!相当于mongodb 集群中的 mongos 和config 服务器的双重角色!

图解Hadoop分布式文件系统工作原理

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有