$cat data1.txt | uniq输出：
beijing wuhan beijing wuhan
$cat data1.txt | sort | uniq注：只有uniq命令的话，只是把相邻的重复的数据行去掉。如果先 sort 的话，就会把所有重复的数据行变成相邻的数据行，再 uniq 的话，就去掉所有重复的数据行了。输出：
beijing wuhan
[root@syy ~]# cat data1.txt beijing beijing wuhan wuhan wuhan beijing beijing beijing wuhan wuhan
如何去掉一个文件中重复的数据行,布布扣,bubuko.com
原文：http://blog.csdn.net/yunying_si/article/details/23265001