分析文本的工具

wc

计数

wc passwd 
44     87     2301   passwd
行数  单词个数  字节数   文件名

 -l 统计行的个数
 
 -w 统计单词的个数
 
 -c 统计字节的个数
 
 -m 统计字符的个数
 
 -L 显示最长一行的长度

sort 排序

默认按照字母

-n 按照数字来排序

-r 按照倒叙来排序

-R 随机排序

-t 指定切割符号

-k 指定按照第几行排序

sort -t: -nk4 passwd 切割以后在排序

uniq 删除重复的行

-c 显示重复出现的次数

-d 只显示重复的行

-u 只显示不重复的行

注意点：连续且完全一样的才是重复

ss -tnp|cut -d: -f2|tr -s " "|cut -d" " -f2|sort -n|uniq -c

diff 对比两个文件

diff的结果：

第一个文件中和第二个文件有差别的行的行号，用‘,‘连接

c/d/a：

104c104  表示两个文件都有此行，但该行有不同处
107d106  表示前个文件有此行，后一文件没有
111a111  表示后个文件有此行，前一文件没有

第二个文件中和第一个文件有差别的行的行号，用‘,‘连接

[root@localhost jiangyi]#echo "abc" >b
[root@localhost jiangyi]#echo "abcd" >d
[root@localhost jiangyi]#diff b d
1c1
< abc
---
> abcd

[root@localhost jiangyi]#echo "abcde" >b
[root@localhost jiangyi]#diff b d
1c1 # 都有第1行，且第一行的内容有区别
< abcde
---
> abcd

[root@localhost jiangyi]#echo "abcde" >> b
[root@localhost jiangyi]#diff b d
1,2c1 # 
< abcde
< abcde
---
> abcd

[root@localhost jiangyi]#echo "abcd" >> b
[root@localhost jiangyi]#diff b d
1,2d0
< abcde
< abcde

Linux-文本分析工具

原文：https://www.cnblogs.com/Hedger-Lee/p/13045619.html