首页 > 其他 > 详细

30天了解30种技术系列---(16)可视化爬虫工具---Portia

时间:2015-08-26 02:40:00      阅读:268      评论:0      收藏:0      [点我收藏+]

? ? ?

? ? ? Portia是scrapyhub开源的一款可视化的爬虫规则编写工具,提供可视化的Web页面,你只需要通过点击标注页面上你需要抽取的数据,不需要任何编程知识即可完成规则的开发。(动态网页需要自己编写JS解析器)。

?

? ? ??Portia的项目地址为:https://github.com/scrapinghub/portia

? ? ? 安装方式如下:

? ? ? ?

git clone https://github.com/scrapinghub/portia

?

? ? ?在docker的环境下构建

docker build -t portia .

? ? 启动,然后可以通过9001 端口进行访问,

docker run -i -t --rm
-v <PROJECT_FOLDER>/data:/app/slyd/data:rw -p 9001:9001 --name portia portia

访问地址:
http://localhost:9001/static/index.html

? ??

? ? 效果如下:
? ?
bubuko.com,布布扣
?
??

bubuko.com,布布扣
?

bubuko.com,布布扣
?
bubuko.com,布布扣
?? ? ??

我们可以将数据写入mysql 等只需要进行简单的,配置,跟多的内容大家可以去详细了解

?

?大家如果对于哪个技术比较感兴趣,可以私信,我会有重点的在后续文章进行展开。

?

?更多精彩请关注微信 : 图灵搜索

?大家也可以使用中国第一个为程序员打造的搜索引擎:https://www.tulingss.com 进行查看。

30天了解30种技术系列---(16)可视化爬虫工具---Portia

原文:http://tulingss.iteye.com/blog/2237039

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!