Python抓取网页被拒绝，需要添加headers来解决

当使用Python对网页内容进行抓取时，常常会遇到网页访问被拒绝的情况，这主要是因为一些网页进行了防抓取设置，不过不用怕，添加一个headers就好了，举个例子。

headers={‘User-Agent‘:‘Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36‘}

url=‘http://www.ximalaya.com/#/1029811/album/3487530‘

html=requests.get(url,headers=headers)

这样就可以啦！！

Python抓取网页被拒绝，需要添加headers来解决

原文：http://www.cnblogs.com/txdongfeng/p/5105589.html