使用下载器中间件时必须激活这个中间件，方法是在settings.py文件中设置DOWNLOADER_MIDDLEWARES这个字典，格式类似如下
DOWNLOADER_MIDDLEWARES = {
‘scrapy_test.middlewares.ScrapyTestDownloaderMiddleware‘: 543,
}
不想深究下去的就重点记住这个吧：数字越小，越靠近引擎，数字越大越靠近下载器，所以数字越小的，processrequest()优先处理；数字越大的，process_response()优先处理
转载链接（详细的看这个）：https://www.lagou.com/lgeduarticle/35939.html
原文：https://www.cnblogs.com/fh-fendou/p/11836896.html