首页 > 其他 > 详细

爬虫2

时间:2018-03-27 21:29:52      阅读:334      评论:0      收藏:0      [点我收藏+]

爬取网页的通用代码框架

异常 说明
requests.ConnectionError 网络连接错误异常,比如DNS查询失败、拒绝连接等
requests.HTTPError HTTP错误异常
requests.URLRequired URL缺失异常
requests.TooManyRedirects 超过最大重定向次数,产生重定向异常
requests.ConnectTimeout 连接远程服务器超时异常
requests.Timesout 请求URL超时,产生超时异常

 

 

 

 

 

 

 

理解requests库的异常:

r.raise_for_status() 如果不是200,产生异常requests.HTTPError

 

示例:

import requests
def getHTMLText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#如果状态不是200,引发HTTPError异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return 产生异常

结果:

技术分享图片

 

技术分享图片

 

爬虫2

原文:https://www.cnblogs.com/rayshaw/p/8559733.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!