加载中…
个人资料
凤凰牌老熊
凤凰牌老熊
  • 博客等级:
  • 博客积分:0
  • 博客访问:46,922
  • 关注人气:19
  • 获赠金笔:0支
  • 赠出金笔:0支
  • 荣誉徽章:
相关博文
推荐博文
谁看过这篇博文
加载中…
正文 字体大小:

hadoop 配置参数路径说明

(2011-08-12 15:04:23)
标签:

it

分类: 云计算
hadoop中,关于文件路径的配置是最令人混淆的,有些是本地路径,有些是服务器路径。
  1. hdfs-site.xml文件中的dfs.name.dir为元数据存放目录,应当设置为本地目录,如:D:/hadoop/dfs-name-dir
  2. core-site.xml文件中的hadoop.tmp.dir为临时文件存放目录,应当设置为本地目录,如:D:/hadoop/tmp
  3. mapred-site.xml文件中的mapred.local.dir为mapreduce本地数据目录,应当设置为本地目录,如:D:/hadoop/mapred-local-dir。mapreduce在执行一个task时,需要将task的JAR包
    配置文件等下载到本地,然后才能执行,而提交job时,只是将JAR等上传到了HDFS上。
  4. mapred-site.xml文件中的mapred.system.dir为mapreduce共享目录,不能为本地目录,只能为HDFS目录,可以填写相对目录如:sysdir,假设以Administrator登录cygwin,并启动hadoop,则:
    $ ./hadoop fs -ls /user/Administrator
    Found 1 items
    drwx-wx-wx   - Administrator supergroup          0 2010-02-02 14:32 /user/Administrator/sysdir

0

阅读 评论 收藏 转载 喜欢 打印举报/Report
  • 评论加载中,请稍候...
发评论

    发评论

    以上网友发言只代表其个人观点,不代表新浪网的观点或立场。

      

    新浪BLOG意见反馈留言板 电话:4000520066 提示音后按1键(按当地市话标准计费) 欢迎批评指正

    新浪简介 | About Sina | 广告服务 | 联系我们 | 招聘信息 | 网站律师 | SINA English | 会员注册 | 产品答疑

    新浪公司 版权所有