我们开发时候经常会统计一些访问日志，访问日志中的url是海量的，并且好多是重复内容。以url为例，统计url中出现频率次数前5的url，并按出现次数的降序排序。
linux命令：cat url.log | sort | uniq -c |sort -n -r -k 1 -t ‘ ‘ | awk -F ‘//‘ ‘{print $2}‘
现在来一一分析这些命令组合的含义。
0）访问日志样例
1) cat t1.log
2) cat t1.log | sort | uniq -c
3) cat t1.log | sort | uniq -c | sort -k 1 -n -r
4) cat t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F ‘//‘ ‘{print $2}‘
经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式，我们需要的结果是192.168.1.100这样的格式，需要去掉http://这些字段，采用awk才处理，awk -F ‘//‘ 是将http://192.168.1.100分组成2部分 http:// 和 192.168.1.100，{print $2}的作用是取数组的第二部分，即192.168.1.100
5) cat t1.log | sort | uniq -c | sort -k 1 -n -r | awk -F ‘//‘ ‘{print $2}‘| head -5
head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。
6）上面http://192.168.1.100这样日志格式只是一个简单的示例，实际中的格式会比较复杂 如：/Get http://192.168.1.100 /auth, 我们可以通过awk -F 或者cut -k 命令来截取url。详情参考awk、cut 命令使用方法。
参考文献：http://www.linuxidc.com/Linux/2011-01/31347.htm
Linux sort uniq awk head 完成访问日志统计排序功能
原文：http://blog.csdn.net/shmnh/article/details/43260859
