情景：当一个文件非常大，而内存无法一次性处理时，怎么对它进行有效的去重操作
打开大文件，每次只读一行；
对读入的行字符串hash(string) = F(string) mod x, x要保证mod完之后不冲突，将此字符串写入对应号码的文件中；
....
处理完之后，我们对大小超出一行的文件进行去重；
最后再读取逐个文件，写入到外存中的一个大文件中。
或者，我们可以对每个小文件只读取其第一行（后面的行都是经过计算后重复的），写入结果文件中。
这样就避免了使用map时内存无法存储海量的数据的问题。
原文：https://www.cnblogs.com/yocichen/p/10560562.html