首页 > 其他 > 详细

爬虫之代理池搭建

时间:2020-08-03 23:29:10      阅读:70      评论:0      收藏:0      [点我收藏+]

1、使用第三方(git clone下来)

# github,下载免费代理池开源代码(建议读一下别人的代码)
# https://github.com/jhao104/proxy_pool

2、运行起git clone的代理项目,安装必要依赖

# 项目根目录(pycharm终端)
# pip3 install -r requirements.txt

3、配置文件配置

# 数据库选择用redis,本文redis没设置密码,所以去掉密码
DB_CONN = redis://127.0.0.1:6379/0

4、启动服务(读readme)

# 启动调度程序
python proxyPool.py schedule

# 启动webApi服务
python proxyPool.py server

5、再起一个脚本测试代理

import requests
import json

res = requests.get(http://127.0.0.1:5010/get/)
dic = json.loads(res.text)
proxy = dic.get(proxy)
print(proxy)
proxies = {"http": "http://%s" % proxy}

respone = requests.get(https://www.baidu.com,
                       proxies=proxies)

print(respone.text)

 

爬虫之代理池搭建

原文:https://www.cnblogs.com/baicai37/p/13428574.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!