首页 > 系统服务 > 详细

eclipse下hadoop应用开发有感

时间:2014-07-08 12:09:57      阅读:394      评论:0      收藏:0      [点我收藏+]

   最近在学习hadoop,首先通过网上大把的教程搭建好了完全分布式环境,在分布式环境上运行wordcount也成功,接下来就打算自己写mr来处理实际的业务了,在真正的开发开始之前首先要搭建好开发环境啊,所以就想到了eclipse,可接下来遇到了好多的问题:

1、首先是考虑到找一个hadoop的插件,安装好后可以直接建立mr工程也可以运行,可是没想到在windows下用hadoop的插件配合进行开发,可是遇到的2个问题是对应版本的插件比较难找,自己编译也比较麻烦,但是如果可以自己编译成功那是最好;后来自己就安装了一台ubuntu的桌面版,然后在这台服务器上安装了eclipse,但是由于插件问题,安装完插件不能建立连接。

2、不能用插件,也不用windows环境后,我在linux下的eclipse下自己新建立了java工程导入了所有的包和服务器端的配置文件,但是发现自带的wordcount可以运行,自己写的mr程序就运行不了,后来才发现是自己对于远程开发和调试理解的不对,要想运行mr首先要把他打包成jar然后上传到分布式环境中然后才可以在eclipse上运行,查看运行日志等。主要是参考了下面这篇文章

http://qindongliang1922.iteye.com/blog/2036619


本文出自 “seavar” 博客,请务必保留此出处http://4397407.blog.51cto.com/4387407/1435289

eclipse下hadoop应用开发有感,布布扣,bubuko.com

eclipse下hadoop应用开发有感

原文:http://4397407.blog.51cto.com/4387407/1435289

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!