1，将所有访问过的url保存在数据库中
2，将访问过的url保存在内存中，只需要o(1)代价就可以查询url
1000000000*2byte*50个字符/1024/1024/1024≈9G
3，url经过md5等方法哈希后保存到内存中 （scrapy用的方法）
4，用bitmap方法，将访问过的url通过hash函数映射到某一位
5，bloomfilter方法对bitmap进行改进，多重hash函数降低冲突
原文：https://www.cnblogs.com/zhoulixiansen/p/9893476.html