首页 > 其他 > 详细

亚马逊商品页面爬取

时间:2017-12-10 21:01:45      阅读:205      评论:0      收藏:0      [点我收藏+]

通过来源审查,访问错误,不支持直接访问:

技术分享图片

更改头信息,重新定义 user-agent,模拟浏览器(Mozilla/5.0浏览器标识字段,页面信息不全,可以成功访问):

技术分享图片

全代码:

技术分享图片

  import requests

     url="https://www.amazon.cn/?tag=baidu250-23&hvadid={creative}&ref=pz_ic_22fvxh4dwf_e"
        try:
    kv={‘user-agent‘:‘Mozilla/5.0‘}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[1000:2000])
  except:
    print("爬取失败!")

 

亚马逊商品页面爬取

原文:http://www.cnblogs.com/2016024291-/p/8017954.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!