首页 > 编程语言 > 详细

《用python写网络爬虫》

时间:2020-12-03 09:58:45      阅读:37      评论:0      收藏:0      [点我收藏+]
  • 爬虫的异常处理

在爬取失败后使用递归调用再次进行爬取

def download3(url, num_retries=2):
    print(Downloading:, url)
    try:
        html = urllib2.urlopen(url).read()
    except urllib2.URLError as e:
        print(Download error:, e.reason)
        html = None
        if num_retries > 0:
            if hasattr(e, code) and 500 <= e.code < 600:
                # retry 5XX HTTP errors
                html = download3(url, num_retries-1)
    return html

首先使用try-except进行异常处理

hasattr(object, name)
# 用于查看对象是否有对应的属性,返回布尔值

 

《用python写网络爬虫》

原文:https://www.cnblogs.com/lixin2011/p/14077344.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!