首页 > 其他 > 详细

BUFF和steam的CSGO饰品价格爬取的优化改进

时间:2020-05-05 00:08:17      阅读:112      评论:0      收藏:0      [点我收藏+]

前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久

想着能不能改一下,就有改了一下,增加了从快代理上的动态爬取到的proxy

发现proxy在requests下好用一些。

后来又增加了利用logging模块的set方法来实现快捷更改关键参数,但是不知道为什么,每次改完,.ini里的参数变了但是程序运行时输入的参数没变

还未解决

 

BUFF和steam的CSGO饰品价格爬取的优化改进

原文:https://www.cnblogs.com/Nortonary/p/12828518.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!