首页 > 编程语言 > 详细

处理python错误问题

时间:2019-12-22 21:02:28      阅读:559      评论:0      收藏:0      [点我收藏+]

------------恢复内容开始------------

调试过程中遇到的问题

(1)爬取首页源码出现中文乱码

解决方案: 将网页编码强制转换成gbk,并去除解决乱码问题的三行代码。

 

技术分享图片

技术分享图片

 

(2)程序运行到一半一直没有反应,没有报错也没有停止运行。

原因:频繁请求服务器,网站有反爬取机制。

解决方案:添加一个header浏览器伪装,模仿浏览器请求,防止封锁本机IP地址。

 技术分享图片

(3)标题加入列表时抛出异常。

原因:某个文章标题&nbsp含有空格符,BeautifulSoup无法解析。

解决办法:利用replace()函数将\xa0代替掉。

 技术分享图片

(4)保存列表数据时格式没有对齐,有点乱

原因:原文中含有大量的\n存在,列表存入时遇到\n直接换行存入。

解决办法:利用replace()函数将\n代替掉。

 技术分享图片

技术分享图片

处理python错误问题

原文:https://www.cnblogs.com/DrcProgrammingCool/p/12080869.html

(1)
(1)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!