pip3 install scrapy-selenium
第4步的时候，当给到request的时候，Downloader是没有办法弄到动态加载的网页数据的 但是第4和第5步都需要经过一个下载中间件，而这个中间件就是要进行动态网页数据的地方 这里用到将response进行动态数据处理之后，再将response返回给engine
scrapy 动态加载网页的数据提取
原文：https://www.cnblogs.com/MartinTai/p/14684440.html
