首页 > Web开发 > 详细

scrapy和selenium结合抓取动态网页

时间:2016-04-21 11:44:58      阅读:328      评论:0      收藏:0      [点我收藏+]

1、安装python (我用的是2.7版本的)

2、安装scrapy:   详情请参考 http://blog.csdn.net/wukaibo1986/article/details/8167590 (提示,能下载源码安装的就避免用pip install **)

     安装过程中遇到python扩展问题”unable to find vcvarsall.bat“的解决办法: http://blog.csdn.net/ren911/article/details/6448696

3、安装selenium,  https://pypi.python.org/pypi/selenium, 注意安装后Download the server separately, from:http://selenium-release.storage.googleapis.com/2.42/selenium-server-standalone-2.42.0.jar,  然后运行(命令行运行,需要安装Java Runtime Environment (JRE))  java -jar selenium-server-standalone-2.42.0.jar

4、建scrapy工程  , 参考 http://www.searchtb.com/2011/01/an-introduction-to-crawler.html?spm=0.0.0.0.HrlxVl

5、scrapy和selenium结合抓取动态网页:  https://github.com/tmslav/google_adwords_scrape/blob/master/adwords_bot.py

7、Python Selenium socket error - [Errno 61] Connection refused:  http://stackoverflow.com/questions/12913991/python-selenium-socket-error-errno-61-connection-refused

8、Selenium: FirefoxProfile exception Can‘t load the profile: https://github.com/tmslav/google_adwords_scrape/blob/master/adwords_bot.py

scrapy和selenium结合抓取动态网页

原文:http://www.cnblogs.com/wicub/p/5416083.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!