AWK 去重

awk ‘{a[$1]++}{!b[$0]++}END{for (i in a) print i,"-",a[i]}‘ 源文件

{a[$1]++}  ：表示你需要去重的那一列，放到数组A中  //计数

!b[$0]++   去重

AWK 消除字符 

awk -F " " ‘{gsub(/ /,"", $0 );print  $0 ;}‘  源文件 

-F  " "（表示以空格为分界符）

gsub 为awk 内置函数 

使用方式： gsub(/ /,"", $0）  / /  斜杠内，就是你需要删除的东西。斜杠内容一般为 字符 、 空格、引号、冒号 等等

根据需要删除对应的字符即可。

" " 第二个参数为内置分隔符

$0 第三个参数为你需要修改的变量。例如awk 提取的第一列，或者 多列。

AWK 还有其它的内置变量

sub(/^[[:blank:]]*/,"",变量)  是去掉变量左边的空白符   // 注释 blank 是表示空白

sub(/[[:blank:]]*$/,"",变量) 是去掉变量右边的空白符  // 注释 blank 是表示空白

Linux 基础 - AWK 用法

原文：https://www.cnblogs.com/caicai920/p/12663806.html