首页 > 其他 > 详细

25.爬取去哪儿网的商品数据-2

时间:2018-11-21 13:08:56      阅读:226      评论:0      收藏:0      [点我收藏+]

 

需要注意的问题:

1.首先要获取dep和query参数。
2.分析请求的url地址变化,获取routeCount参数。

我配置代码出现的问题:

1.url拼接问题,网站拒绝访问,模拟请求参数设置user-agent和cookie
2.获取routeCount参数会报异常,因为有的url返回的数据中无这个参数信息。
异常如下:
技术分享图片

正常如下:

技术分享图片


只有获取了routeCount参数,才能接下来获取所有url的内容信息。

 

25.爬取去哪儿网的商品数据-2

原文:https://www.cnblogs.com/lvjing/p/9994340.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!