首页 > 系统服务 > 详细

在eclipse中使用hadoop插件

时间:2018-05-31 17:54:44      阅读:179      评论:0      收藏:0      [点我收藏+]

我的配置环境看我的上篇博文。

配置过程:

 

(1)把插件放到eclipse/plugins目录下。(我的版本上一篇也有)

3)重启eclipse,配置Hadoop installation directory

如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有Hadoop Map/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径

4)配置Map/Reduce Locations

打开Windows—Open Perspective—Other,选择Map/Reduce,点击OK

点击Map/Reduce Location选项卡,点击右边小象图标,打开Hadoop Location配置窗口:

输入Location Name,任意名称即可.配置Map/Reduce MasterDFS MastrerHostPort配置成与core-site.xml的设置一致即可(9000)(貌似Map/Reduce Master 的端口设置任何数字都可以?)

点击"Finish"按钮,关闭窗口。

点击左侧的DFSLocations—>myhadoop(上一步配置的location name),如能看到user,表示安装成功

5)新建WordCount项目

File—>Project,选择Map/Reduce Project,输入项目名称比如:WordCount等。

 

然后就可以开始写了。

WordCount的代码网上有很多不再赘述。

 

运行:

HDFS上创建目录/test

hadoop fs -mkdir /test

拷贝本地hello.txtHDFS/test

hadoop fs -copyFromLocal /usr/local/hadoop/input/hello.txt /test

点击WordCount.java,右键,点击Run As—>Run Configurations->arguments,配置运行参数,即输入和输出文件夹

hdfs://localhost:9000/test

hdfs://localhost:9000/test/out

点击Run按钮,运行程序。

运行完成后,查看运行结果

方法1

hadoop fs -ls output

可以看到有两个输出结果,_SUCCESSpart-r-00000

执行hadoop fs -cat output/*

方法2:

展开DFS Locations,如下图所示,双击打开part-r00000查看结果

 

 

在eclipse中使用hadoop插件

原文:https://www.cnblogs.com/flyuz/p/9118002.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!