? ? ?
? ? ? Portia是scrapyhub开源的一款可视化的爬虫规则编写工具,提供可视化的Web页面,你只需要通过点击标注页面上你需要抽取的数据,不需要任何编程知识即可完成规则的开发。(动态网页需要自己编写JS解析器)。
?
? ? ??Portia的项目地址为:https://github.com/scrapinghub/portia
? ? ? 安装方式如下:
? ? ? ?
git clone https://github.com/scrapinghub/portia
?
? ? ?在docker的环境下构建
docker build -t portia .
? ? 启动,然后可以通过9001 端口进行访问,
docker run -i -t --rm
-v <PROJECT_FOLDER>/data:/app/slyd/data:rw -p 9001:9001 --name portia portia
访问地址:
http://localhost:9001/static/index.html
? ??
? ? 效果如下:
? ?
?
??
?
?
?? ? ??
我们可以将数据写入mysql 等只需要进行简单的,配置,跟多的内容大家可以去详细了解
?
?大家如果对于哪个技术比较感兴趣,可以私信,我会有重点的在后续文章进行展开。
?
?更多精彩请关注微信 : 图灵搜索
?大家也可以使用中国第一个为程序员打造的搜索引擎:https://www.tulingss.com 进行查看。
30天了解30种技术系列---(16)可视化爬虫工具---Portia
原文:http://tulingss.iteye.com/blog/2237039