场景：在Linux服务器上有一个文本文件，上百万行数据，我想知道这个文件里有没有重复的行，怎么搞呢？
一想到Linux上拥有像 grep、wc、awk等等众多的小工具，就感觉通过一个命令就可以解决上述的问题，果然百度一下，真的有，哈哈。
$ sort filename | uniq -d
上述命令可以直接在终端显示重复行的内容，当然没有任何输出则代表没有重复行（unix的哲学）
$ sort filename | uniq > res.txt
将去重后到结果重定向到文件，然后：
$ wc -l res.txt
查看去重后到文件行数，与之前的相比，就可以判断是否有重复行了。
原文：https://www.cnblogs.com/leadership/p/11653433.html