python 开发之selenium

时间：2018-10-22 19:59:35 阅读：122 评论：0 收藏：0 [点我收藏+]

使用selenium和PhantomJS来模拟浏览器点击下一页，获取页面数据进行抓取分析
用python写爬虫的时候，主要用的是selenium的Webdriver来获取页面数据
使用webdriver需要安装对应浏览器的driver，并加入到环境变量中
from selenium import webdriver
driver = webdriver.PhantomJS() 使用PhantomJS浏览器创建浏览器对象
driver.get("https://www.douyu.com/directory/all") 使用get方法加载页面
driver.find_element_by_class_name("shark-pager-next").click() class="shark-pager-next"是下一页按钮，click() 是模拟点击
利用BeatuifulSoup 对页面信息进行提取
模拟点击时需要安装 https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-windows.zip

python 开发之selenium

原文：http://blog.51cto.com/weadyweady/2307341

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)