Scrapy的爬虫添加redis支持的时，会出现的坑：
- 在Scrapy中request对象在传递时，是引用传递，即在一处修改了request，那么在其他地方也会改变；而换成redis后，这个会变为值传递；原因？request对象是从redis数据库中反序列化过来的；
- 关于禁用duplacte filter; 在scrapy的原始爬虫中，设置一个变量即可；但在scrapy redis中，需要自己重新定义一个返回值为false的类，否则会报错，查看详细的报错原因可得；
这段时间使用python的感想
- python对于简单的问题处理，确实很方便，但真正用起来后，会有不少知识需要学习，并不是一个python简明教程可以搞定的；也许是知识不足，python还并不稳定，比如说，python解释器直接崩溃？
Scrapy、ScrapyRedis使用
原文：https://www.cnblogs.com/FairlyHarmony/p/11403496.html
