最近在学习hadoop,首先通过网上大把的教程搭建好了完全分布式环境,在分布式环境上运行wordcount也成功,接下来就打算自己写mr来处理实际的业务了,在真正的开发开始之前首先要搭建好开发环境啊,所以就想到了eclipse,可接下来遇到了好多的问题:
1、首先是考虑到找一个hadoop的插件,安装好后可以直接建立mr工程也可以运行,可是没想到在windows下用hadoop的插件配合进行开发,可是遇到的2个问题是对应版本的插件比较难找,自己编译也比较麻烦,但是如果可以自己编译成功那是最好;后来自己就安装了一台ubuntu的桌面版,然后在这台服务器上安装了eclipse,但是由于插件问题,安装完插件不能建立连接。
2、不能用插件,也不用windows环境后,我在linux下的eclipse下自己新建立了java工程导入了所有的包和服务器端的配置文件,但是发现自带的wordcount可以运行,自己写的mr程序就运行不了,后来才发现是自己对于远程开发和调试理解的不对,要想运行mr首先要把他打包成jar然后上传到分布式环境中然后才可以在eclipse上运行,查看运行日志等。主要是参考了下面这篇文章
http://qindongliang1922.iteye.com/blog/2036619
本文出自 “seavar” 博客,请务必保留此出处http://4397407.blog.51cto.com/4387407/1435289
eclipse下hadoop应用开发有感,布布扣,bubuko.com
原文:http://4397407.blog.51cto.com/4387407/1435289