首页 > 其他 > 详细

记录scrapy发送post请求遇到的坑

时间:2021-08-08 23:06:39      阅读:26      评论:0      收藏:0      [点我收藏+]

最近使用scrapy爬取某公共资源网站,发现该网站返回的是json数据,我就正常的使用 yield scrapy.FormRequest(url=url,formdata=data,dont_filter=True,callback=self.fy_parse_detail,headers=headers)去请求数据,结果返回的是:

技术分享图片

 

 改成:

yield scrapy.Request(url=url,body=json.dumps(data),dont_filter=True,callback=self.fy_parse_detail,headers=headers,method=‘POST‘)
结果数据就返回成功了:

技术分享图片

 

 

注意:请求头中要把

‘Content-Type‘: ‘application/json;charset=UTF-8‘加上,不然也会获取不到数据:

技术分享图片

 

记录scrapy发送post请求遇到的坑

原文:https://www.cnblogs.com/Zmdz-134/p/15115517.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!