selenium在scrapy中的使用、UA池、IP池的构建

class WangyiSpider(RedisSpider):
    name = ‘wangyi‘
    #allowed_domains = [‘www.xxxx.com‘]
    start_urls = [‘https://news.163.com‘]
    def __init__(self):
        #实例化一个浏览器对象(实例化一次)
        self.bro = webdriver.Chrome(executable_path=‘/Users/bobo/Desktop/chromedriver‘)

    #必须在整个爬虫结束后，关闭浏览器
    def closed(self,spider):
        print(‘爬虫结束‘)
        self.bro.quit()

from scrapy.http import HtmlResponse    
    #参数介绍：
    #拦截到响应对象（下载器传递给Spider的响应对象）
    #request：响应对象对应的请求对象
    #response：拦截到的响应对象
    #spider：爬虫文件中对应的爬虫类的实例
    def process_response(self, request, response, spider):
        #响应对象中存储页面数据的篡改
        if request.url in[‘http://news.163.com/domestic/‘,‘http://news.163.com/world/‘,‘http://news.163.com/air/‘,‘http://war.163.com/‘]:
            spider.bro.get(url=request.url)
            js = ‘window.scrollTo(0,document.body.scrollHeight)‘
            spider.bro.execute_script(js)
            time.sleep(2)  #一定要给与浏览器一定的缓冲加载数据的时间
            #页面数据就是包含了动态加载出来的新闻数据对应的页面数据
            page_text = spider.bro.page_source
            #篡改响应对象
            return HtmlResponse(url=spider.bro.current_url,body=page_text,encoding=‘utf-8‘,request=request)
        else:
            return response

DOWNLOADER_MIDDLEWARES = {
    ‘wangyiPro.middlewares.WangyiproDownloaderMiddleware‘: 543,

}