首页 > 其他 > 详细

用Flask+Redis维护代理池

时间:2018-12-11 12:21:21      阅读:154      评论:0      收藏:0      [点我收藏+]

为什么要用代理池?

  • 许多网站有专门的反爬虫措施,可能遇到封IP等问题。
  • 互联网上公开了大量免费的代理,利用好资源。
  • 通过定时的检测维护同样可以得到多个可用的代理。

    代理池要求

  • 多站抓取,异步检测
  • 定时筛选,持续更新
  • 提供接口,易于读取

    代理池架构

    技术分享图片

用Flask+Redis维护代理池

原文:https://www.cnblogs.com/carious/p/10101270.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!