1.先对文件内容排序：cat 1.txt |sort > 2.txt 保存到2.txt中
2.使用vim打开2.txt 执行替换命令：
替换空格：%s/ //g
替换tab：%s/^I//g （注意：^I 是直接按键盘是的tab键）
替换$: %s/^M//g （注意：^M 是按ctrl+v 再按Enter键）
3.cat 2.txt | uniq > 3.txt
本文为Eliot原创，转载请注明出处：http://blog.csdn.net/xyw_blog/article/details/24589251
原文：http://blog.csdn.net/xyw_blog/article/details/24589251