首页 > 其他 > 详细

hadoop本地化运行

时间:2017-07-06 09:42:37      阅读:349      评论:0      收藏:0      [点我收藏+]
hadoop_dll2.6.0_64bit下载地址 https://pan.baidu.com/s/1kVSMkV9  
首先在解压hadoop2.6.5 然后配置到path里面
在bin里加入hadoop_dll2.6.0_64bit这个压缩包中的所有文件,选择覆盖,
此时在java代码里面
Configuration conf= new Configuration();
//选择文件系统默认是本地
//conf.set("fs.defaultFS","hdfs://mini0:9000");
//hadoop路径
//conf.set("hadoop.home.dir","D:\\test\\hadoop-2.6.5");
//解决在hdfs上的权限问题
// System.setProperty("HADOOP_USER_NAME","root");
此时尝试运行,如果不行的话,重启之后再尝试
如果选择了本地运行那么在输入和输出可以用本地的
//数据来源?---》hdfs 设置数据来源的位置
FileInputFormat.addInputPath(job,new Path("D:\\test\\hadoop-2.6.5\\hadoopData\\word.txt"));
//输出的位置
FileOutputFormat.setOutputPath(job,new Path("D:\\test\\hadoop-2.6.5\\hadoopData\\output5"));
 

hadoop本地化运行

原文:http://www.cnblogs.com/rocky-AGE-24/p/7124459.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!