我们在使用下载中间件处理请求,一般会对请求设置随机的User-Agent,设置随机的代理.目的就是防止爬取网站的反爬虫策略,但是同一类型User-Agent的浏览器还是容易被监测到,开启UA池放置更多类型的User-Agent就能够极大避免反扒机制
- 尽可能多的将scrapy工程中的请求伪装成不同类型的浏览器身份
UA池和代理池
原文：https://www.cnblogs.com/CrazySheldon1/p/10840733.html
