学习之前，我们要先建立两个文件来练习。
vim a.txt
cp /etc/passwd passwd
第一章 grep和正则表达式
一、 正则表达式
1、单个字符
特定字符：某个具体字符（grep ‘1‘ passwd）
范围内字符: []括号里边代表的是1个字符。
数字字符：[0-9],[259]
小写字符：[a-z]
大写字符：[A-Z]
例：
grep ‘[0-9]‘ passwdgrep ‘[259]‘ passwd
grep ‘[a-z]‘ passwd
grep ‘[a-zA-Z]‘ passwd (包括所有字母)
反向字符：^
取反：[^0-9] , [^0] (‘^’一定要放倒中括号里边才行)
grep ‘[^0-9]‘ passwd（过滤以数字开头的行）
任意字符：? .
.代表任何1个字符。
2、边界字符：头尾字符
^:表示以某字符开头。（注意[^]的意思是取反）
$:表示以某字符结尾。
例如：grep ‘^root‘ passwdgrep ‘bash$‘ passwd
^$:表示空行。
元字符（代表普通字符或特殊字符）
\w:匹配任何字类字符（数字、字母、下划线）
\W: 匹配任何非字类字符（数字、字母、下划线）
\b:代表单词分隔
例：grep ‘\w‘ passwd
grep ‘\W‘ passwd
grep ‘\bx\b‘ passwd
字符串?? ‘root’‘1000’‘n…x’
[A-Z][a-z]:匹配出挨在一起的2个大小字母，如Gz、Af、Td
[0-9][0-9]:匹配挨在一起的2位数，如45，56，28，96
3、重复字符
*：0次或者多次匹配前面的字符
+：1次或者多次匹配前面的字符（+不能直接用，需要加\来转义）
？：0次或1次匹配前面的字符（？不能直接用，需要加\来转义）
例：grep ‘se*‘ a.txt
grep ‘se\+‘ a.txt
grep ‘se\?‘ a.txt
如果要匹配多字符重复，需要用括号将多字符括起来。
例：
grep ‘\(se\)*‘ a.txt??? 注意()不能直接使用，需要转义，前边加\。
重复特定次数：? {n,m}? 代表重复n-m次
那么我们就可以这样理解为：
*：｛0，1｝
+：｛1，｝
？: {0,1｝
例：过滤重复数字2-3次的行
grep ‘[0-9]\{2,3\}‘ passwd???? 注意：｛｝也是需要转义的符号，前边加\.
任意字符串的表示： .*
例：^r.* 表示以r开头的任意字符串。
n.*x:表示n和x之间有任意个字符
n...x：表示n和x之间有3个任意字符
逻辑或： | （也是需要转义，前边加\）
例：过滤掉#开头的行和空行
grep -v ‘^$\|^#‘ nginx.conf（-v是取反的意思）
案例：
1、 匹配4-10位的QQ号码
grep ‘^[0-9]\{4,10\}$‘ a.txt
2、 匹配15或者18位×××号（支持带X的）
分析，×××开始位不能为0，结尾包括x，中间部分是13位或16数字重复。（注意转义符号）
grep ‘^[1-9]\([0-9]\{13\}\|[0-9]\{16\}\)[0-9xX]$‘ a.txt
3、 匹配密码（由数字、字母和下划线组成）
grep ‘^\w\+$‘ a.txt
说明：
grep高亮显示：grep =’grep –color=auto’这样写只是临时生效，断开重新连接后就不行了。如果想永久生效，可以写进全局变量文件中：/etc/profile
在文件的结尾添加：
alias grep=‘grep --color=auto‘
[root@rescue ~]# source /etc/profile
这样就可以了。
第二章 巧妙破解sed
1、 sed是如何进行文本处理的？
（1）命令行格式
sed [options] ‘command’ file(s)
optiones(选项): -e ; -n
command命令：行定位（正则）+sed命令（操作）
1、sed操作命令
-p 打印相关的行，要和-n参数一起使用。
例：sed -n ‘p‘ passwd如果不加-n会每行显示两次。
定位1行：x或/正则/?????? 用x（代表数字）或者正则表达式来定位，正则两边要加/隔开。
例：打印第10行的内容。
sed -n ‘10p‘ passwd
sed -n ‘/redis/p‘ passwd
定位多行：x,y 或者/正则/
例：打印10-20行的内容：
nl passwd |sed -n ‘10,20p‘
nl passwd |sed -n ‘/uucp/,/redis/p‘两个例子的效果是一样的。
打印除第10行的所有内容：用“！”
nl passwd |sed -n ‘10!p‘
打印除10-20的所有行：
nl passwd |sed -n ‘10,20!p‘
定位间隔几行：x~y
例：间隔5行打印
nl passwd |sed -n ‘1~5p‘
基本操作命令（2）
a(新增行)
i (插入行)
c(替代行)
d(删除行)
例：在第5行后面增加“=========”
nl passwd |sed ‘5a ==========‘
在1-5行后分辨增加“=========”
nl passwd |sed ‘1,5a ==========‘
在第5行前面插入“=========”
nl passwd |sed ‘5i ==========‘
在1-5行前分辨插入“=========”
nl passwd |sed ‘1,5i ==========‘
替换22行内容为“11111”
nl passwd | sed ‘22c 11111‘
22-24行替换为“11111”
nl passwd | sed ‘20,24c 111111111‘
删除“redis”行
nl passwd |sed ‘/redis/d‘
实战应用一：优化服务器配置
在ssh的配置文件行尾加入相应文本：
Port 52112
PermitRootLogin no
[root@rescue ~]# sed ‘$a \ Port 52112 \n PermitRootLogin no‘ ssh_config
解释一下：
$a代表在行尾增加
\Port 52112：在前边加“\和两个空格是为了对齐，\为转义符”
\n：表示回车
如果：[root@rescue ~]# sed -i ‘$a \ Port 52112 \n PermitRootLogin no‘ ssh_config
其中-i表示直接修改源文件
实例2、删除a.txt文本中的空行
sed ‘/^$/d‘ a.txt由于^$属于正则，所以要用//隔离起来。
实例3、服务器日志处理
找出log日志中error信息。
sed -n ‘/error/p‘ secure
基本操作命令（2）
-s（替换）：原内容/,#替换后内容，其中/,#随便一个都可以
例：将passwd文件中的nologin全部替换为qqqqq
sed ‘s/nologin/qqqqqqqqqq/‘ passwd
-g（全局）
例：将passwd文件中所有的：替换为%
sed ‘s/:/%/g‘ passwd
实战应用：
筛选数据，筛选出eth0的ip。（思路，将IP前后的内容全部替换为空）
ifconfig eth0 |sed -n ‘/inet/p‘ |sed ‘s/inet.*r://‘|sed ‘s/B.*$//‘
高级操作命令：
｛｝：多个sed命令同时使用，用;分开
例如：在passwd文件中删除20-24行，并替换nologin为qqq
nl passwd |sed ‘{20,24d;s/nologin/qqqq/}‘
n：读取下一个输入行（用下一个命令处理）
例如：打印偶数行：
nl passwd |sed -n ‘{n;p}‘或：nl passwd |sed -n ‘1~2p‘
打印奇数行：
nl passwd |sed -n ‘{p;n}‘或nl passwd |sed -n ‘2~2p‘
&:替换固定字符串
例：passwd文件中的用户名后边加空格
sed ‘s/^[a-z_-]\+/& ‘ passwd
解释：
^[a-z_-]的意思是以a-z任意字母开头后边跟横线的内容
+的意思是重复1或者多次。
&的后边跟着一个空格，&代表的是前面^[a-z_-]。
大小写转换
\u???? 表示对首字母转换为大写
\l????? 对首字母转换为小写
\U??? 对一串字符转换成大写
\L???? 对一串字符转换成小写
案例一：将用户名的首字母转换为大写
[root@rescue ~]# sed ‘s/^[a-z_-]\+/\u/‘ passwd
\(?? \)? 替换某种（部分）字符串 \1,\2
\1就代表第一个括号中的内容，\2就代表第二个括号中的内容
例：获取eth0网卡的IP地址
ifconfig eth0 |sed -n ‘/inet/p‘ |sed ‘s/ine.*r:\([0-9.]\+\) .*$/\1/‘
r：复制指定文件插入到匹配行
w：复制匹配行拷贝指定文件里
例：文件123.txt
[root@rescue ~]# cat 123.txt
3823098908230
3823232343
833121332文件abc.txt
[root@rescue ~]# cat abc.txt
dasajlkl
asgfsdfsfsd
ferewejlfdas
现将读取123.txt的内容插入到abc.txt的第一行之后
sed ‘1r 123.txt‘ abc.txt
复制123.txt内容到abc.txt的第一行之后
sed ‘1w abc.txt‘ 123.txt
q：退出sed
例：匹配到第10行后退出sed
nl passwd |sed ‘10q‘
第三章 轻松玩转awk
alk是一款文本与数据处理工具，可以统计、制表、编程等。
命令格式：
awk [option] ‘command’ file
awk的内置参数一：
$0:?????? 表示当前整个行
$1：?? 每行第一个字段
$2：?? 每行第二个字段
$3：?? 每行第三个字段
分隔符： -F
例：打印passwd文件中的用户名一列
awk -F ‘:‘ ‘{print $1}‘ passwd
打印用户名和UID两列?????
awk -F ‘:‘ ‘{print $1,$3}‘ passwd?????????????????????? 打印两项内容用都好隔开
或：awk -F ‘:‘ ‘{print $1" "$3}‘ passwd????????? 双引号中间加一个空格。
增加用户名和UID两列说明字符：
awk -F ‘:‘ ‘{print "User:"$1"\t""UID:"$3}‘ passwd
“User:”和”UID”是$1和$3前边增加的说明，”\t”表示的是table键。
awk的内置参数二：
NR：行号，每行的记录号
NF：列号，字段数量变量
FILENAME:正在处理的文件名
例：
[root@rescue ~]# awk -F ‘:‘ ‘{print NR,NF}‘ passwd
案例一：
显示/etc/passwd每行的行号，每行的列数，对应行的用户名（两种方法：print，printf）
方法一：awk -F ‘:‘ ‘{print "Line:"NR, "Col:"NF,"User:"$1}‘ passwd
标红部分都是字段的说明，用引号引起来。
方法二：awk -F ‘:‘ ‘{printf("Line:%s Col:%s User:%s\n",NR,NF,$1)}‘ passwd
\n表示回车符，不加的话不会断行。
案例二：
显示/etc/passwd中用户ID大于100的行号和用户名 （使用if….else）
awk -F ‘:‘ ‘{if ($3>100) print "Line:"NR,"User:"$1}‘ passwd
案例三：
在服务器log中找出“error”的发生日期
方法一：sed -n ‘/error/p‘ secure | awk ‘{print $1,$2,$3}‘
方法二：awk ‘/error/{print $1,$2,$3}‘ secure
awk——逻辑判断式
~：匹配正则表达式
！~:不匹配正则表达式
==: 等于
！=:不等于
<:小于
>:大于
例1：匹配passwd文件第一个字段是否为m，是m则打印出来
awk -F ‘:‘ ‘$1~/^m.*/{print $1}‘ passwd
例2：匹配passwd文件中UID大于100的则输出用户名和UID
awk -F ‘:‘ ‘$3>100{print $1,$3}‘ passwd
awk——扩展格式
BEDIN{print “start”} command END {PRINT “END”}
例：
awk -F ‘:‘ ‘BEGIN{print "Line Col User"}{print NR,NF,$1}END{print"-----"FILENAME"-----"}‘ passwd
awk处理过程
案例一：统计当前文件夹下的文件/文件夹占用的大小
ls -l |awk ‘BEGIN{size=0}{size+=$5}END{print "size is " size/1024/1024"M"}‘
案例二：统计显示/etc/passwd的账户总人数
awk -F ‘:‘ ‘BEGIN{count=0}$1!~/^$/{count++}END{print " count = "count}‘ passwd
原文：http://blog.51cto.com/rescue/2147827