首页 > Web开发 > 详细

爬取动态网页中关于构造浏览器头的注意事项

时间:2018-07-26 17:55:13      阅读:190      评论:0      收藏:0      [点我收藏+]

在原来爬取动态网页图片中,获取到了图片的实际地址,但是下载下来的图片是损坏的,究其原因,是服务器端阻止了访问,但是观察发现

headers = {User-Agent: random.choice(UserAgent_List),
           Accept: "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
           Accept-Encoding: gzip,
           }

浏览器头已经构造好了。原因是什么?

实际上,动态网页是从原网页指向图片服务器的,所以在浏览器头中需要加上原来的地址,伪造出是从浏览器跳转的效果。

爬取动态网页中关于构造浏览器头的注意事项

原文:https://www.cnblogs.com/qian-lu/p/9372641.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!