加载中…
正文 字体大小:

Hadoop 2.2.0 安装与运行(包含新版hadoop classpath变化的相关说明!)

(2014-01-11 15:57:48)
标签:

杂谈

分类: 服务器软件安装
1,安装Hadoop,从官网下载编译好的hadoop2.2.0版本:
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

2,将下载的压缩包 hadoop-2.2.0.tar.gz 解压到你想安装hadoop的目录。然后将这个目录设定为HADOOP_HOME,并添加到环境变量里面,并将HADOOP_HOME/bin目录添加到系统PATH, 方便后面使用。

3,设定JAVA_HOME环境变量为java sdk所安装的目录。

做完以上三步之后就可以运行wordCount的例子了。现在官网下载的hadoop包不再包含WordCount的例子相关文件,所以我自己将官方的WordCount.java 这个文件上传到了百度网盘,可以直接下载使用:
(WordCount.java地址 http://pan.baidu.com/s/1o6O5Wsq)

例子的运行部分:
1,首先将WordCount.java 编译成一个 jar文件,具体步骤如下:

$ mkdir wordcount_classes
$ javac -cp classpath -d wordcount_classes WordCount.java

jar -cvf wordcount.jar -C wordcount_classes/ .
这里的classpath和之前的hadoop版本有所区别,需要按照新的设置方法,这一点网上很少提及!
新的classpath为:
$HADOOP_HOME/share/hadoop/common/hadoop-common-2.2.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.2.0.jar:$HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

2, 创建HDFS所需的输入文件夹,步骤如下:

$ hadoop fs -mkdir wordCount
$ hadoop fs -mkdir wordCount/input

3, 创建输入文件:

$ echo "Hello World Bye World" > file0
$ echo "Hello Hadoop Goodbye Hadoop" > file1
$ hadoop fs -put file* wordCount/input

4,运行我们的wordCount程序:

$ hadoop jar wordcount.jar org.myorg.WordCount wordCount/input wordCount/output

5,程序运行完之后,检查我们的输出结果:

$ hadoop fs -cat /user/cloudera/wordcount/output/part-00000
Bye 1
Goodbye 1
Hadoop 2
Hello 2
World 2
到这里我们就顺利运行了hadoop的wordCount例子!这里和之前网上的教程相比,大体上面相同,但是需要注意的是在编译wordCount程序时,classpath的设置按照老的教程设置会出现编译出错的情况,按照本文中新的classpath则可以顺利通过编译。

另外我推荐一个学习hadoop不错的地方:

0

阅读 评论 收藏 转载 喜欢 打印举报
已投稿到:
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 不良信息反馈 电话:4006900000 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有