潭州课堂25班：Ph201805201 爬虫基础 第三课 fidder (课堂笔记)

import urllib.parse
import urllib.request


‘‘‘
urllib.request.urlopen参数的介绍：
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
‘‘‘
# get 请求
response = urllib.request.urlopen(‘http://www.baidu.com‘)
print(response.read().decode(‘utf-8‘))

import urllib.parse
import urllib.request

‘‘‘
urlopen常用的有三个参数，它的参数如下：
urllib.requeset.urlopen(url,data,timeout)
response.read()可以获取到网页的内容，如果没有read()，将返回如下内容
‘‘‘
‘‘‘
通过http://httpbin.org/post  使用urllib
模拟各种请求操作
‘‘‘
# 用 urllib.parse，通过bytes(urllib.parse.urlencode()) 将 post 数据 转换并放到urllib.request.urlopen的data参数中。
# #这样就完成了一次post请求。
data = bytes(urllib.parse.urlencode({‘word‘: ‘hello‘}), encoding=‘utf8‘)
print(data)
response = urllib.request.urlopen(‘http://httpbin.org/post‘, data=data)
print(response.rea

import urllib.parse
import urllib.request


‘‘‘
timeout参数的使用
在某些网络情况不好或者服务器端异常的情况会出现请求慢的情况，或者请求异常，所以这个时候我们需要给
请求设置一个超时时间，而不是让程序一直在等待结果。
‘‘‘
# 设定 timeout 的值，在XX时间嘉应，报个错，
response = urllib.request.urlopen(‘http://httpbin.org/get‘, timeout=0.1)
print(response.read())
#对异常进行抓取，所以将上边代码加个导演处理
try:
    response = urllib.request.urlopen(‘http://httpbin.org/get‘, timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print(‘TIME OUT‘)