首页 > 其他 > 详细

Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26(续)

时间:2015-01-20 19:50:07      阅读:209      评论:0      收藏:0      [点我收藏+]

上周以为搞定了Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26的整合,于是这周开始真正执行nutch抓取tieba的数据:

nutch inject /urls -crawlId tieba

谁知道报错:

java.lang.NoSuchMethodError: org.apache.hadoop.net.NetUtils.getInputStream(Ljava/net/Socket;)Ljava/io/InputStream;

at org.apache.hadoop.hbase.ipc.HBaseClient$Connection.setupIOstreams(HBaseClient.java:437)

折腾了一整天,才想清楚这个错误的意思是HBaseClient$Connection类的setupIOstreams方法中需要的是传入参数类型为java.net.Socket,返回类型为java.io.InputStream的getInputStream方法,但是Hadoop 2.5.2版本的NetUtils类的getInputStream方法返回类型为SocketInputWrapper,所以只需要修改一下HBase的源码,做一个强制类型转换即可,如下:

this.in = new DataInputStream(new BufferedInputStream

(new PingInputStream((java.io.InputStream)NetUtils.getInputStream(socket))));

Nutch 2.x+Hadoop 2.5.2+Hbase0.94.26(续)

原文:http://www.cnblogs.com/mactech/p/4236694.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!