首页 > 其他 > 详细

scrapy常用一些命令行

时间:2017-03-09 22:34:07      阅读:173      评论:0      收藏:0      [点我收藏+]

scrapy --help                              查看scrapy的基本帮助信息

scrapy --varsion                          查看版本信息

scrapy startproject xxx                创建一个新的工程

scrapy genspider xexe xxxx.xom         一个工程中可以有多个spider,genspider,就是在一个工程中创建多个爬虫,

首先在进入工程当中,然后运行命令,其中xexe是爬虫的名字,xxxx.com是所要爬取得网站

scrapy list                                   查看一个工程有多少个爬虫,同样是要先进入项目的根目录再运行命令

scrapy view url           查看页面源代码在浏览器中的样子,要先进入项目的根目录再运行命令

scrapy parse url                           在工程中使用固定的parse函数解析某个页面,要先进入项目的根目录再运行命令

scrapy runspider xxx.py               运行一个包含了所有逻辑代码的爬虫文件,xxx.py 爬虫文件                         

scrapy bench                               可以用来检测scrapy是否安装成功

 

scrapy常用一些命令行

原文:http://www.cnblogs.com/bigvase/p/6528127.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!