首页 > 其他 > 详细

使用爬虫遇到的一些问题

时间:2018-09-05 19:34:10      阅读:155      评论:0      收藏:0      [点我收藏+]
本博客会记录博主在使用爬虫过程中遇到的问题,不断更新,希望以后再遇到这些问题的时候,可以快速解决。

1、在爬取和讯博客的时候发现阅读数和评论数无法正常读取。通过抓包工具抓取到了阅读数和评论数的URL,但是复制到浏览器上打开发现一片空白。在抓包工具Raw里发现,有一项Refere,后面将此项加到headers信息里,数据可以正常显示出来了。代码如下:

import urllib.request

url=‘http://click.tool.hexun.com/click.aspx?articleid=116367158&blogid=19050645‘

data={

"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36",
"Referer":"http://27783968.blog.hexun.com/116367158_d.html",

}

request=urllib.request.Request(url,headers = data)
data=urllib.request.urlopen(request).read().decode("utf-8","ignore")
print(data)

此次难点在于不熟悉urllib库是如何添加更多的请求信息到heagers里,在以上代码中,data里还可以添加更加多的请求,比如cookie等信息,记录此次代码的目的在于熟悉urllib.request.Reques的用法

使用爬虫遇到的一些问题

原文:http://blog.51cto.com/wuliu92/2170753

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!