首页 > Web开发 > 详细

爬虫框架--webmagic

时间:2016-07-09 22:07:52      阅读:184      评论:0      收藏:0      [点我收藏+]

官方有详细的使用文档:http://webmagic.io/docs/zh/ 

简介:这只是个java爬虫框架,具体使用需要个人去定制,没有图片验证,不能获取js渲染的网页,但简单易用,可以通过xpath和css选择符获取网页内容,官方也有超详细的文档,适合爬取简单的网页和新手学习爬虫。图片验证和js渲染网页获取都可以后来添加进去。使用webmagic这个框架,可以减少很多需要自己写的代码,从而专注于网页分析获取和储存的地方。

 

使用:

 

爬虫框架--webmagic

原文:http://www.cnblogs.com/zhuzhixijiang/p/5656706.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!