首页 > 其他 > 详细

gecco 1.1.0稳定版发布,易用的轻量化爬虫

时间:2016-04-27 02:08:28      阅读:215      评论:0      收藏:0      [点我收藏+]

gecco 1.1.0稳定版发布了

1.1.0版本主要做了如下修改:

1.优化代理设置,运行时计算代理下载成功率,自动发现无效代理,支持运行时添加代理
2.HttpClientDownloader支持类似12306网站非信任ssl证书
3.JsonBean支持嵌套解析
4.修复部分网站302无法跳转的bug
5.优化debug日志输出

?

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

?

主要特征:

  1. 简单易用,使用jquery风格的选择器抽取元素
    2.支持页面中的异步ajax请求
    3.支持页面中的javascript变量抽取
    4.利用Redis实现分布式抓取,参考gecco-redis
    5.支持结合Spring开发业务逻辑,参考gecco-spring
    6.支持htmlunit扩展,参考gecco-htmlunit
    7.支持插件扩展机制
    8.支持下载时UserAgent随机选取
    9.支持下载代理服务器随机选取

gecco 1.1.0稳定版发布,易用的轻量化爬虫

原文:http://xtuhcy.iteye.com/blog/2293906

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!