首页 > 其他 > 详细

scrapy 之自定义命令运行所有爬虫文件

时间:2019-04-15 16:49:52      阅读:132      评论:0      收藏:0      [点我收藏+]

1、在spider文件夹同级目录创建commands python包

2、在包下创建command.py文件

3、从scrapy.commands包下引入ScrapyCommand

4、创建一个类,继承ScrapyCommand

5、重新定义类变量 requires_project = True

6、重写syntax    short_desc方法,syntax返回空字符串   short_desc返回描述字符串

7、重写run方法。

def run(self, args, opts):
    spider_list = self.crawler_process.spiders.list()    #通过self.crawler_process.spider.list()获得所有爬虫
    for name in spider_list:                    #遍历所有爬虫
        self.crawler_process.crawl(name, **opts.__dict__)  #运行爬虫

    self.crawler_process.start()                  #启动进程
crawler_process 来自父类

scrapy 之自定义命令运行所有爬虫文件

原文:https://www.cnblogs.com/pxfb/p/10711152.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!