首页 > 其他 > 详细

记录golang colly爬虫编码问题

时间:2021-08-26 00:08:25      阅读:52      评论:0      收藏:0      [点我收藏+]

用框架colly 爬虫爬取数据,会出现 乱码问题,有时明明已经做了解码处理仍然乱码

  • 原因:
    • 初始化colly的时候设置了如下参数
DetectCharset=true
  • DetectCharset 的作用为检查编码,但是设置这个为true后,抓取gbk编码的数据竟然解码不了,令人十分痛苦,最后发现之前DetectCharset 的问题,将其改为false 就可以了

  • 解决

colly.DetectCharset = false 或者 不设置 DetectCharset

记录golang colly爬虫编码问题

原文:https://www.cnblogs.com/Frange/p/15186876.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!