首页 > Windows开发 > 详细

基于Windows下eclipse的MapReduce开发环境配置

时间:2020-03-31 22:23:05      阅读:79      评论:0      收藏:0      [点我收藏+]

零. 相关文件

链接:https://pan.baidu.com/s/1KmfZlxevk07p-_Aosnsm2w
提取码:df5l

一. MapReduce环境配置

1. 解压hadoop
把hadoop的安装包解压到Windows下(这里的安装包就是你搭hadoop集群时的安装包,我的是hadoop-2.9.2.tar.gz)
技术分享图片

2. 配置环境变量
hadoop_home配置
技术分享图片
PATH配置
技术分享图片

3. 其他

  • 我们需要把windows运行Hadoop的一个系统文件放到system32中
    技术分享图片

  • 还有一个Windows运行Hadoop的工具执行文件放到{$HADOOP_HOME}\bin下
    技术分享图片

二. eclipse配置

1. 安装插件
下载插件
将hadoop-eclipse-plugin-2.8.5.jar放到eclipse的插件文件夹内(我用的是SpringToolSuite, 前面的目录可能不太一样)
技术分享图片

2. 启动eclipse
检查插件是否运行成功(注意:这里是在Project Explorer查看, 出现DFS Location说明插件运行成功)
技术分享图片

3. 配置本地Hadoop所在目录(这里配置自己的目录)
技术分享图片

4. 配置远程Hadoop的ip地址与端口号
在window -> show view -> other中找到mapreduce,并进行如下配置
技术分享图片
右键 New Hadoop...
技术分享图片
技术分享图片

如果报错需要在hdfs中创建一个input文件夹:hadoop fs –mkdir /input
我们可以把要分析的文件放到input目录下 hadoop fs –put README.txt /input

三. MapReduce编程

1. 新建java项目
2.导入jar包
直接建一个自己的library,方便统一管理Hadoop相关的jar包,window -> Preferences
技术分享图片
这里(hadoop) Library加入的jar包为

  • hadoop-2.9.2\share\hadoop\common目录下三个jar包
    技术分享图片

  • hadoop-2.9.2\share\hadoop\common\lib 下所有(69)jar包

  • hadoop-2.9.2\share\hadoop\hdfs 下9个jar包
    技术分享图片

  • hadoop-2.9.2\share\hadoop\mapreduce 下9个jar包
    技术分享图片

  • hadoop-2.9.2\share\hadoop\yarn 下15个jar包
    技术分享图片

把自己建的这个hadoop Library加入项目: 项目右键 -> Properties -> Java Build Path -> Add Library -> User Library -> 勾选自己刚刚新建的hadoop 完成 添加并保存
然后, 就可以进行编程了

基于Windows下eclipse的MapReduce开发环境配置

原文:https://www.cnblogs.com/Hephaestus/p/12608456.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!