首页 > 其他 > 详细

nutch 采集到的数据与实际不符

时间:2014-09-05 12:46:31      阅读:294      评论:0      收藏:0      [点我收藏+]
现象,这个网站我总计能抽取将近500个URL,但实际只抽取了100条

解析:nutch默认从一个页面解析出的链接,只取前 100 个。

<property> <name>db.max.outlinks.per.page</name> <value>100</value> <description>The maximum number of outlinks that well process for a page. If this value is nonnegative (>=0), at most db.max.outlinks.per.page outlinks will be processed for a page; otherwise, all outlinks will be processed. </description> </property>

将这个值改大一些 1000 .

 

nutch 采集到的数据与实际不符

原文:http://www.cnblogs.com/i80386/p/3957763.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!