首页 > 编程语言 > 详细

python爬虫学习之起点小说抓取

时间:2019-05-16 22:15:47      阅读:389      评论:0      收藏:0      [点我收藏+]

爬虫学习的一点心得

任务:抓取某小说网站小说并下载

抓取:selenium

解析:xpath,正则表达式

遇到的问题:

1.用requests抓取的时候,无论如何修改请求头,抓取的源代码明显缺失严重,特别是小说文本、链接地址等重要信息都无法获取,最后万不得已只能使用

selenium模拟浏览器(我这里使用的火狐浏览器)进行抓取成功

技术分享图片

 

python爬虫学习之起点小说抓取

原文:https://www.cnblogs.com/tian2B/p/10878274.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!