首页 > 其他 > 详细

Scrapy同时启动多个爬虫

时间:2019-08-21 23:49:30      阅读:85      评论:0      收藏:0      [点我收藏+]

1. 在项目文件夹中新建一个commands文件夹

2. 在command的文件夹中新建一个文件 crawlall.py

3.在crawlall.py 中写一个command类,该类继承 scrapy.commands

from scrapy.commands import ScrapyCommand


class Command(ScrapyCommand):
    requires_project = True

    def syntax(self):
        return [options]

    def short_desc(self):
        return Runs all of the spiders

    def run(self, args, opts):
        spider_list = self.crawler_process.spiders.list()
        for name in spider_list:
            self.crawler_process.crawl(name, **opts.__dict__)
        self.crawler_process.start()

 

Scrapy同时启动多个爬虫

原文:https://www.cnblogs.com/tjp40922/p/11391833.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!