首页 > 其他 > 详细

Scrapy信号量

时间:2019-10-29 02:08:50      阅读:117      评论:0      收藏:0      [点我收藏+]

1、类

from scrapy import signals


class MySingle(object):
    def __init__(self):
        pass

    @classmethod
    def from_crawler(cls, crawler):
        self = cls()

        crawler.signals.connect(self.spider_open, signal=signals.spider_opened)
        crawler.signals.connect(self.spider_close, signal=signals.spider_closed)

        return self

    def spider_open(self, spider):
        print(打开)

    def spider_close(self, spider):
        print(关闭)

2、配置文件

EXTENSIONS = {
   # ‘scrapy.extensions.telnet.TelnetConsole‘: None,
   toscrapy.mysingles.MySingle: 555,
}

 

Scrapy信号量

原文:https://www.cnblogs.com/wt7018/p/11756296.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!