scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能：
Scrapy-redis
原文：https://www.cnblogs.com/weidaijie/p/10463383.html
