2、将downloader关联到gecco上,@Gecco增加downloader和timeout选项
?
@Gecco(matchUrl="https://github.com/{user}/{project}", pipelines="consolePipeline", downloader="httpClientDownloader", timeout=1000)
?
每个@Gecco都能单独配置downloader,这样htmlUnitDownloader和httpClientDownlaoder可以灵活配置不再局限于一个GeccoEngine配置一个downloader。
?
如果您还不了解gecco框架请移步:https://github.com/xtuhcy/gecco
?
?
?
java开源爬虫gecco发布版本1.0.6,更灵活的配置downloader
原文:http://xtuhcy.iteye.com/blog/2283222