首页 > 其他 > 详细

scrapy的去重机制

时间:2018-10-04 01:38:50      阅读:154      评论:0      收藏:0      [点我收藏+]

scrapy是通过hashlib算法转成长度一致的url,然后再通过set集合去重的,有兴趣看源码

去重的中间件在scrapy 的 dupefilters.py文件中:

-->  #去重器

RFDupeFilter()

-->有个函数叫

request_seen()
#被scrapy/core/scheduler.py调用

这个是调度器

scheduler.py#文件中有个函数叫enqueue_request()的函数
每来一个url就是通过这个函数来执行的

每次执行之前都会调用到    request_seen(request)   这个方法

这个方法就会生成一个指纹,指纹下面的掉用的就比较复杂了,简单的说就是要去执行       hashlib.sha1()       这个算法来生成一个固定长度的哈兮值

再然后就是在那个去重器中的

self.fingerprints = set() 

就是通过上句代码执行了set集合来去重了

 

scrapy的去重机制

原文:https://www.cnblogs.com/ArtisticMonk/p/9741350.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!