首页 > 其他 > 详细

Scrapy网络爬虫框架的开发使用

时间:2017-09-08 11:04:06      阅读:402      评论:0      收藏:0      [点我收藏+]

1.安装

2.使用scrapy startproject  project_name 命令创建scrapy项目

如图:

技术分享

3.根据提示使用scrapy genspider spider_name domain_url 创建一个spider程序

如图:

技术分享

注意spider_name 不能和project_name 同名;可以采用关键字加_spider的方式命名spider_name

 4. 使用scrapy list命令查看所有的spider程序名称,及使用scrapy --help查看命令列表

技术分享

技术分享

 5. 使用scrapy shell url 调试selector

 

Scrapy网络爬虫框架的开发使用

原文:http://www.cnblogs.com/liuzhiqaingxyz/p/7493316.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!