首页 > Web开发 > 详细

urllib基本用法(了解)

时间:2019-11-20 23:59:03      阅读:159      评论:0      收藏:0      [点我收藏+]

一、urllib.urlopen

1、urlopen  

from urllib import request

r = request.urlopen(http://www.baidu.com/)
# 获取状态码
print(r.status)
# 获取相应头
print(r.getheaders())
print(= * 30)
# 获取网页源码
print(r.read().decode(utf-8))

注意:urlopen() 含有data(bytes类型)的是post请求,timeout超时

2、Request

from urllib import request
# 创建请求对象
req = request.Request(https://www.cnblogs.com/)
# 打开网页
r = request.urlopen(req)
print(r.read().decode(utf-8))

注意:data(bytes,dict->str->bytes),headers={}, method=

使用Handler实现验证、Cookies、代理等功能

二、urllib.error

处理异常

from urllib.error import URLError, HTTPError

使用try....except进行处理

注意:HTTPError是URLRrror的子类

三、urllin.parse

解析

urlparse()
urlunparse()
urlsplit()
urlunsplit()
urljoin()
urlencode()  # 序列胡
parse_qsl() # 反序列化 结果 [(‘name‘, ‘tom‘), (‘age‘, 24)] 可以使用dict->字典格式 quote() unquote()

四、  Robot协议

robotparser解析robot.txt文件

 

 

urllib基本用法(了解)

原文:https://www.cnblogs.com/wt7018/p/11902020.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!