首页 > 其他 > 详细

Scrapy对接Selenium

时间:2019-11-13 17:08:07      阅读:94      评论:0      收藏:0      [点我收藏+]

首先pip安装selenium,然后下载浏览器驱动

 

WebDrive下载地址

chrome的webdriver:http://chromedriver.storage.googleapis.com/index.html

Firefox Firefox驱动下载地址为:https://github.com/mozilla/geckodriver/releases/

根据操作系统,以及浏览器版本,下载相应的驱动,并将下载的webdriver的路径设置到环境变量中

技术分享图片

技术分享图片

 技术分享图片

 

 将下载好的zip解压出来、直接将里面的exe文件放到运行环境的目录下即可

技术分享图片

 

 

 

简单使用

在中间件进行操作,不去调用下载器,直接返回一个response对象

导入包:from selenium import webdriver

技术分享图片

 

 

 

无窗口模式

再导入一个包:from selenium.webdriver.chrome.options import Options

技术分享图片

技术分享图片

 

 

 

Scrapy对接Selenium

原文:https://www.cnblogs.com/jiyu-hlzy/p/11850406.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!