python爬虫005-代理服务器的设置

import urllib.request


def use_proxy(proxy_addr,url):
    """
    使用代理服务器爬取某个url
    :param proxy_addr: 代理服务器地址
    :param url: 要爬取的网页地址
    :return: 网页的全部内容
    """
    # 设置对应的代理信息
    proxy = urllib.request.ProxyHandler({"http":proxy_addr})
    # 创建opener对象，第一个参数是代理信息，第二个参数是urllib.request.HTTPHander类
    opener = urllib.request.build_opener(proxy,urllib.request.HTTPHandler)
    # urllib.request.install_opener()创建全局默认的opener对象
    urllib.request.install_opener(opener)
    data = urllib.request.urlopen(url).read().decode("utf-8")
    return data


proxy_addr = "115.171.203.201:9000"  # 代理ip地址：端口
data = use_proxy(proxy_addr,"http://www.baidu.com")
print(len(data))

# 以上代码出现错误：由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败
# 据说关闭防火墙后可以消除，但我没试验了，也有可能是使用的ip地址失效了