简介
在爬取网页时,一般都会用到代理IP。蘑菇代理网站:http://www.moguproxy.com/ 蘑菇代理的代理IP有两种:API私密代理和隧道转发代理,这篇文章主要介绍隧道转发代理 。
在官网购买隧道转发代理后,就可以到订单页面查看购买订单的Appkey。如果是第一次使用,那么需要添加白名单。
以下是隧道转发代理的接入文档(Python3)。只需要在接入文档中添加有效的Appkey,那么就可以使用。
1 import requests 2 3 # 蘑菇代理的隧道订单 4 appKey = "T1BVYVVNe*******eTQ1Mmdq" 5 6 # 蘑菇隧道代理服务器地址 7 ip_port = ‘secondtransfer.moguproxy.com:9001‘ 8 9 # 准备去爬的 URL 链接 10 url = ‘https://ip.cn‘ 11 12 proxy = {"http": "http://" + ip_port,"https": "https://" + ip_port} 13 headers = { 14 "Proxy-Authorization": ‘Basic ‘+ appKey, 15 "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0", 16 "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4"} 17 r = requests.get("https://ip.cn", headers=headers, proxies=proxy,verify=False,allow_redirects=False) 18 print(r.status_code) 19 print(r.content) 20 if r.status_code == 302 or r.status_code == 301 : 21 loc = r.headers[‘Location‘] 22 print(loc) 23 url_f = loc 24 r = requests.get(url_f, headers=headers, proxies=proxy, verify=False, allow_redirects=False) 25 print(r.status_code) 26 print(r.text)
原文:https://www.cnblogs.com/weifeng1998/p/13236929.html