首页 > 其他 > 详细

爬虫(ProxyHandler)——代理

时间:2018-05-29 22:22:50      阅读:251      评论:0      收藏:0      [点我收藏+]

工具:python3

步骤:

1)使用ProxyHandler()构建httpproxy_handler对象 

2)使用build_opener(httpproxy_handler)构建opener

3)使用Request()构造请求

4)使用instal_opener()构造一个全局opener

5)发送请求

import urllib.request

# 代理开关,表示是否启用代理
proxyswitch = True

# 构建一个Handler处理器对象,参数是一个字典,包括代理类型和代理服务器IP,port
httpproxy_handler = urllib.request.ProxyHandler({"http": "175.42.122.115:808"})

# 构建一个没有代理的处理器对象,也要有一个空字典返回
nullproxy_handler = urllib.request.ProxyHandler({})

if proxyswitch:
    opener = urllib.request.build_opener(httpproxy_handler)
else:
    opener = urllib.request.build_opener(nullproxy_handler)

request = urllib.request.Request("http://www.baidu.com/")

# 构建一个全局opener,之后所有的请求都可以用urlopen()方式发出去,也附带handler功能 urllib.request.install_opener(opener) request
= urllib.request.urlopen(request) print(request.read())

 

爬虫(ProxyHandler)——代理

原文:https://www.cnblogs.com/gaoquanquan/p/9108012.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!