加载中…
个人资料
  • 博客等级:
  • 博客积分:
  • 博客访问:
  • 关注人气:
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
正文 字体大小:

(转)Hadoop异常WARN hdfs.DFSClient: DataStreamer Exception

(2014-08-04 14:14:16)
标签:

股票

分类: hadoop
问题:
Hadoop上传文件时候的错误 ,由于当时没有将错误提示截图,现从网上摘得相似提示如下,注意重点提示:
[root@hadoop1 桌面]# hadoop fs -put /home/hadoop/word.txt /tmp/wordcount/word5.txt出现的错误

12/04/05 20:32:45 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/wordcount/word5.txt could only be replicated to 0 nodes, instead of 1


12/04/05 20:32:45 WARN hdfs.DFSClient: Error Recovery for block null bad datanode[0] nodes == null
12/04/05 20:32:45 WARN hdfs.DFSClient: Could not get block locations. Source file "/tmp/wordcount/word5.txt" - Aborting...
put: java.io.IOException: File /tmp/wordcount/word5.txt could only be replicated to 0 nodes, instead of 1
12/04/05 20:32:45 ERROR hdfs.DFSClient: Exception closing file /tmp/wordcount/word5.txt : org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /tmp/wordcount/word5.txt could only be replicated to 0 nodes, instead of 1

解决方案:

这个问题是由于没有添加节点的原因,也就是说需要先启动namenode,再启动 datanode,然后启动jobtracker和tasktracker。这样就不会存在这个问题了。 目前解决办法是分别启动节点

#hadoop-daemon.sh start namenode

#$hadoop-daemon.sh start datanode

 

操作:

1.   重新启动namenode

# hadoop-daemon.sh start namenode

starting namenode, logging to /usr/hadoop-0.21.0/bin/../logs/hadoop-root-namenode-www.keli.com.out

 

2.   重新启动datanode

# hadoop-daemon.sh start datanode

starting datanode, logging to /usr/hadoop-0.21.0/bin/../logs/hadoop-root-datanode-www.keli.com.out


总结:

hadoop-daemons.sh start namenode 单独启动NameNode守护进程
hadoop-daemons.sh stop namenode 单独停止NameNode守护进程
hadoop-daemons.sh start datanode 单独启动DataNode守护进程
hadoop-daemons.sh stop datanode 单独停止DataNode守护进程

0

阅读 收藏 喜欢 打印举报/Report
  

新浪BLOG意见反馈留言板 欢迎批评指正

新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 产品答疑

新浪公司 版权所有