首页 > 其他 > 详细

记录天猫爬虫

时间:2019-10-08 17:27:11      阅读:112      评论:0      收藏:0      [点我收藏+]

记录一下天猫爬虫

我觉得天猫最坑的点是在于列表页,详情页与评论页反爬并不是特别的严格,这里来说一个列表页的抓取思路。

  • 使用淘宝搜索,然后选择天猫,返回的是Json数据,并没有什么封锁限制,但是也不要太猖狂,让程序多睡会,也不要给别人服务器很大的压力,下面是示例URL:
    https://s.taobao.com/search?q=%E5%8D%8E%E4%B8%BA&imgfile=&js=1&stats_click=search_radio_tmall%3A1&initiative_id=staobaoz_20191008&tab=mall&ie=utf8&bcoffset=0&p4ppushleft=%2C44&s=88

  • Json url
    https://s.taobao.com/search?data-key=s&data-value=88&ajax=true&q=华为&tab=mall&sort=sale-desc&s=0

记录天猫爬虫

原文:https://www.cnblogs.com/Kris777/p/11636197.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!