前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久
想着能不能改一下,就有改了一下,增加了从快代理上的动态爬取到的proxy
发现proxy在requests下好用一些。
后来又增加了利用logging模块的set方法来实现快捷更改关键参数,但是不知道为什么,每次改完,.ini里的参数变了但是程序运行时输入的参数没变
还未解决
原文:https://www.cnblogs.com/Nortonary/p/12828518.html