首页 > Web开发 > 详细

爬虫中使用格式化参数动态修改URL

时间:2020-05-18 00:35:33      阅读:83      评论:0      收藏:0      [点我收藏+]

在爬取京东商品评论区的过程中,发现每个商品的评论区接口相似,应立即意识到:

技术分享图片

 

于是编写函数,通过格式化参数动态改变URL

定义fetch_url为商品ID,page为当前评论页数,将原URL中的id和page用%s占位符代替,后面使用%(fetch_url, page)替换

注意:若是单个参数,使用 %page 即可

   如果是多个函数,使用 %(fetch_url, page).而并不是我之前的写法:%fetch_url, %page

def fetch_comment(fetch_url, page=0):

url = ‘https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&productId=%s&score=0&sortType=5&page=%s&pageSize=10&isShadowSku=0&fold=1‘ %(fetch_url, page)

爬虫中使用格式化参数动态修改URL

原文:https://www.cnblogs.com/kintsugi/p/12907735.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!