文本处理三剑客之awk和加密算法及实践

时间：2021-04-25 23:09:37 阅读：12 评论：0 收藏：0 [点我收藏+]

1 文本处理三剑客之 awk

1.1 awk 工作原理和基本用法说明

awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出，GNU/Linux发布的AWK目前由自由软件基会（FSF）进行开发和维护，通常也称它为 GNU AWK

多种版本：

AWK：原先来源于 AT & T 实验室的的AWK
NAWK：New awk，AT & T 实验室的AWK的升级版
GAWK：即GNU AWK。所有的GNU/Linux发布版都自带GAWK，它与AWK和NAWK完全兼容

gawk：模式扫描和处理语言，可以实现下面功能

文本处理
输出格式化的文本报表
执行算数运算
执行字符串操作

格式：

awk [options]  ‘program‘ var=value  file…
awk [options]  -f programfile  var=value file…

[root@centos7 ~]#ll `which awk`
lrwxrwxrwx. 1 root root 4 Jan 10 00:12 /usr/bin/awk -> gawk

说明：

program通常是被放在单引号中，并可以由三种部分组成

BEGIN语句块
模式匹配的通用语句块
END语句块

常见选项：

-F “分隔符” 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符（不需要tr压缩空格了）
-v var=value 变量赋值

Program格式：

pattern{action statements;..}

pattern：决定动作语句何时触发及触发事件，比如：BEGIN,END,正则表达式等

（BEGIN：文本处理前执行的动作，如表头标题等；END：文本处理后再执行的动作，如表尾统计等；）

action statements：对数据进行处理，放在{}内指明，如：print, printf

1.1.1 awk 工作过程

第一步：执行BEGIN{action;… }语句块中的语句

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

第三步：当读至输入流末尾时，执行END{action;…}语句块

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
pattern语句块中的通用命令是最重要的部分（可选）。如果没有提供pattern语句块，则默认执行{print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

1.1.2 分割符、域和记录

由分隔符分隔的字段（列column,域field）标记$1（第1列）,$2...$n（第n列）称为域标识，$0（所有）为所有域，注意：和shell中变量$符含义不同
文件的每一行称为记录record
如果省略action，则默认执行 print $0 的操作

1.1.3 常用的action分类

Output Statements：print,printf
Expressions：算术，比较表达式等
Compound Statements：组合语句
Control Statements：if, while等
Input Statements

1.1.4 awk控制语句

{ statements;… } 组合语句
if(condition) {statements;…}
if(condition) {statements;…} else {statements;…}
while(conditon) {statments;…}
do {statements;…} while(condition)
for(expr1;expr2;expr3) {statements;…}
break
continue
exit

1.2 动作 print

格式：

print item1, item2, ...

说明：

逗号分隔符
输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式
如省略item，相当于print $0
固定字符符需要用“ ” 引起来，而变量和数字不需要

范例：

#{}外面用‘‘，里面的字符串要用""，不加""，表示变量或数字

awk ‘{print "hello,awk"}‘   #等待输入，无论输入什么内容，都打印hello,awk
[root@centos7 ~]#awk ‘{print "hello,awk"}‘
I love you
hello,awk
skf
hello,awk
123
hello,awk
^C

[root@centos7 ~]#seq 5 |awk ‘{print "hello,awk"}‘
hello,awk
hello,awk
hello,awk
hello,awk
hello,awk

#""中的内容当成字符串处理
[root@centos7 ~]#awk ‘{print "2*3"}‘
ad
2*3
wel
2*3
^C
#不加""，2*3为数字运算
[root@centos7 ~]#awk ‘{print 2*3}‘
ad
6
wel
6
^C

[root@centos7 ~]#seq 3 | awk ‘{print 2*3}‘
6
6
6

#/etc/passwd有多少行，就打印多少行的wang，因为没有提供pattern，默认打印每一行。-F:未起作用
[root@centos7 ~]#awk -F: ‘{print "wang"}‘ /etc/passwd
wang
...省略...

#打印每一行，可以省略$0；等同于cat/etc/passwd；-F:未起作用
[root@centos7 ~]#awk -F: ‘{print $0}‘ /etc/passwd
[root@centos7 ~]#awk -F: ‘{print}‘ /etc/passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
...省略...

#默认分隔符是空格
#打印passwd以:分割的第1和第3列，默认1和3列中间以空格隔开；若要加其他分割符号，需加上""
[root@centos7 ~]#awk -F: ‘{print $1,$3}‘ /etc/passwd
root 0
bin 1
daemon 2
adm 3
...省略...

#分隔符是==
[root@centos7 ~]#awk -F: ‘{print $1"=="$3}‘ /etc/passwd |head -n3
root==0
bin==1
daemon==2

#分隔符需要加""
[root@centos7 ~]#awk -F: ‘{print $1:$3}‘ /etc/passwd |head -n3
awk: cmd. line:1: {print $1:$3}
awk: cmd. line:1:          ^ syntax error
[root@centos7 ~]#awk -F: ‘{print $1":"$3}‘ /etc/passwd |head -n3
root:0
bin:1
daemon:2

#分隔符是tab键
[root@centos7 ~]#awk -F: ‘{print $1"\t"$3}‘ /etc/passwd |head -n3
root    0
bin     1
daemon  2

#打印以UUID开头的第2和3列
[root@centos7 data]#grep "^UUID" /etc/fstab |awk ‘{print $2,$3}‘
/ xfs
/boot xfs
swap swap
/mnt/sdb1 ext4
[root@centos7 data]#awk -F" " ‘/^UUID/{print $2,$3}‘ /etc/fstab
/ xfs
/boot xfs
swap swap
/mnt/sdb1 ext4
[root@centos7 data]#awk -F"[[:space:]]+" ‘/^UUID/{print $2,$3}‘ /etc/fstab
/ xfs
/boot xfs
swap swap
/mnt/sdb1 ext4

实例：取出分区利用率


[root@centos7 ~]# df |grep ‘^/dev/sd‘
/dev/sda2       20961280 1518124  19443156   8% /
/dev/sda5       15718400  142720  15575680   1% /data
/dev/sda1         999320  114356    816152  13% /boot
/dev/sdb1        1998672 1030148    847284  55% /mnt/sdb1
/dev/sdb2       18446032 5165084  12320900  30% /mnt/sdb2

[root@centos7 ~]# df |awk -F "[[:space:]]+|%" ‘/^\/dev\/sd/{print $1,$5}‘
/dev/sda2 8
/dev/sda5 1
/dev/sda1 13
/dev/sdb1 55
/dev/sdb2 30

[root@centos7 ~]# df |grep ‘^/dev/sd‘|awk -F "[[:space:]]+|%" ‘{print $5}‘|sort -nr
55
30
13
8
1

[root@centos7 ~]# df |awk -F "[[:space:]]+|%" ‘/^\/dev\/sd/{print $5}‘
8
1
13
55
30

[root@centos7 ~]# df |awk -F "[[:space:]]+|%" ‘/^\/dev\/sd/{print $5}‘|sort -nr|head -1
55

实例：取 ifconfig 输出结果中的IP地址

#pattern{action statements;..}，只有pattern，没有action，默认执行print $0，即打印匹配的整行

[root@centos8 ~]# ifconfig eth0|awk ‘/netmask/‘
        inet 192.168.209.109  netmask 255.255.255.0  broadcast 192.168.209.255

[root@centos8 ~]# ifconfig eth0|awk ‘/netmask/{print $2}‘
192.168.209.109

[root@centos7 ~]# ifconfig eth0|awk ‘/netmask/{print $2}‘
192.168.209.12

[root@centos6 ~]# ifconfig eth0|awk -F " +|:" ‘/ask/{print $4}‘
192.168.209.121

#使用sed命令取IP地址，在centos6~8上通用
[root@centos8 ~]# ifconfig eth0| sed -rn ‘2s/^[^0-9]+([0-9.]+) .*$/\1/p‘
192.168.209.109
[root@centos6 ~]# ifconfig eth0| sed -rn ‘2s/^[^0-9]+([0-9.]+) .*$/\1/p‘
192.168.209.121

实例：文件host_list.log 如下格式，请提取”.magedu.com”前面的主机名部分并写回到该文件中

[root@centos8 ~]# cat host_list.log
1 www.magedu.com
2 blog.magedu.com
3 study.magedu.com
4 linux.magedu.com
5 python.magedu.com
[root@centos8 ~]# awk -F"[ .]" ‘{print $2}‘ host_list.log >> host_list.log
[root@centos8 ~]# cat host_list.log
1 www.magedu.com
2 blog.magedu.com
3 study.magedu.com
4 linux.magedu.com
5 python.magedu.com
www
blog
study
linux
python

范例：查看ss.log中的ip地址连接数，把前3个ip地址放到防火墙的黑名单里

[root@centos7 ~]# cat deny_dos1.sh
IPLIST=`awk -F" +|:" ‘/^ESTAB/{print $(NF-1)}‘ ss.log |sort |uniq -c|sort -nr|head -3|awk ‘{print $2}‘`
for ip in $IPLIST;do
 iptables -A INPUT -s $ip -j REJECT
done

范例：模拟ss -nt生成ss_access.log文件，把连接数超过100个的IP地址放在防火墙里拒绝访问

#模拟ss -nt生成ss_access.log文件
[root@centos7 scripts]#vi /data/ss_access.log
[root@centos7 scripts]#awk -F"[[:space:]]+|:" ‘{print $(NF-1)}‘ /data/ss_access.log|sort |uniq -c|sort -nr
    256 100.100.100.100
     81 192.168.100.1
     52 192.168.100.200

#脚本ss_access.log
[root@centos7 scripts]#cat deny_dos.sh
#!/bin/bash
LINK=100
#while true;do  这层循环，会一直无休止的执行。使用定时任务后，不需要加这层循环
awk -F"[[:space:]]+|:" ‘{print $(NF-1)}‘ /data/ss_access.log|sort |uniq -c||while read COUNT IP;do
   if [ $COUNT -gt $LINK ];then
      iptables -A INPUT -s $IP -j REJECT
   fi
done
#done

#加执行权限，添加定时任务
[root@centos8 ~]#chmod +x /root/deny_dos.sh
[root@centos8 ~]#crontab -e
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
*/10 * * * *  /root/deny_dos.sh
[root@centos8 ~]#crontab -l
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
*/10 * * * *  /root/deny_dos.sh

[root@centos7 data]# iptables -vnL
Chain INPUT (policy ACCEPT 328 packets, 15184 bytes)
 pkts bytes target     prot opt in     out     source               destination
    0     0 REJECT     all  --  *      *       100.100.100.100      0.0.0.0/0            reject-with icmp-port-unreachable

实例：解决DOS***，根据web日志或者或者网络连接数，监控当某个IP 并发连接数或者短时内PV达到100，即调用防火墙命令封掉对应的IP，监控频率每隔5分钟。

范例：每十分钟检查将连接数超过100个以上的IP放入黑名单拒绝访问

#每1分钟检查一次，有超过3个连接数的IP地址，就放入防火墙的黑名单中拒绝访问
[root@centos7 ~]# cd /scripts/
[root@centos7 scripts]# cat deny_dos.sh
#!/bin/bash
LINK=3
    ss -nt|awk -F"[[:space:]]+|:" ‘/^ESTAB/{print $(NF-2)}‘ |sort |uniq -c |while read COUNT IP;do
        [ $COUNT -gt $LINK ] && iptables -A INPUT -s $IP -j REJECT
    done
[root@centos7 ~]# crontab -l
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
*/1 * * * * /scripts/deny_dos.sh

#测试，查看连接状态，10.0.8.108有4个连接，8.117有两个连接
[root@centos7 ~]# ss -nt
State     Recv-Q Send-Q     Local Address:Port          Peer Address:Port
ESTAB       0      0        192.168.209.12:22           10.0.8.108:62743
ESTAB       0      0        192.168.209.12:22           10.0.8.117:53003
ESTAB       0      0        192.168.209.12:22           10.0.8.117:53004
ESTAB       0      0        192.168.209.12:22           10.0.8.108:62745
ESTAB       0      0        192.168.209.12:22           10.0.8.108:62732
ESTAB       0      0        192.168.209.12:22           10.0.8.108:62746
#一分钟后，10.0.8.108被放进防火墙中拒绝访问了，客户端无法登录
[root@centos7 ~]# iptables -vnL
Chain INPUT (policy ACCEPT 86 packets, 4256 bytes)
 pkts bytes target     prot opt in     out     source               destination
  133 23176 REJECT     all  --  *      *       10.0.8.108           0.0.0.0/0            reject-with icmp-port-unreachable

2、加密算法和协议

对称加密
非对称（公钥）加密
单向加密
认证协议

2.1 对称加密算法

对称加密：加密和解密使用同一个密钥

特性：

加密、解密使用同一个密钥，效率高
将原始数据分割成固定大小的块，逐个进行加密

缺陷：

密钥过多
密钥分发
数据来源无法确认

常见对称加密算法:

DES：Data Encryption Standard，56bits
3DES：
AES：Advanced (128, 192, 256bits)
Blowfish，Twofish
IDEA，RC6，CAST5

2.2 非对称加密算法

2.2.1 非对称加密算法介绍

非对称加密：密钥是成对出现

公钥：public key，公开给所有人，主要给别人加密使用
私钥：secret key，private key 自己留存，必须保证其私密性，用于自已加密签名
特点：用公钥加密数据，只能使用与之配对的私钥解密；反之亦然

功能：

数据加密：适合加密较小数据，比如: 加密对称密钥
数字签名：主要在于让接收方确认发送方身份

缺点：

密钥长，算法复杂
加密解密效率低下

常见算法：

RSA：由 RSA 公司发明，是一个支持变长密钥的公共密钥算法，需要加密的文件块的长度也是可
变的,可实现加密和数字签名
DSA（Digital Signature Algorithm）：数字签名算法，是一种标准的 DSS（数字签名标准）
ECC（Elliptic Curves Cryptography）：椭圆曲线密码编码学，比RSA加密算法使用更小的密钥，
提供相当的或更高等级的安全

2.2.2 非对称加密实现加密

1）接收者：

生成公钥/密钥对：P和S
公开公钥P，保密密钥S

2）发送者：

使用接收者的公钥来加密消息M
将P(M)发送给接收者

3）接收者：

使用密钥S来解密：M=S(P(M))

2.2.3 非对称加密实现数字签名

发送者：

生成公钥/密钥对：P和S
公开公钥P，保密密钥S
使用私钥S来加密消息M
发送给接收者S(M)

接收者：

使用发送者的公钥来解密M=P(S(M))

2.2.4 RSA和DSA

RSA：公钥加密算法是1977年由Ron Rivest、Adi Shamirh和LenAdleman在（美国麻省理工学院）开发的，RSA取名来自开发他们三者的名字，后成立RSA数据安全有限公司。RSA是目前最有影响力的公钥加密算法，它能够抵抗到目前为止已知的所有密码***，已被ISO推荐为公钥数据加密标准。

RSA算法基于一个十分简单的数论事实：将两个大素数相乘十分容易，但那时想要对其乘积进行因式分解却极其困难，因此可以将乘积公开作为加密密钥。

DSA (Digital Signature Algorithm)：1991年7月26日提交，并归属于David W. Kravitz前NSA员工，DSA是Schnorr和ElGamal签名算法的变种，被美国NIST作为SS(DigitalSignature Standard)， DSA是基于整数有限域离散对数难题的，其安全性与RSA相比差不多。DSA只是一种算法，和RSA不同之处在于它不能用作加密和解密，也不能进行密钥交换，只用于签名，它比RSA要快很多。

2.3 使用gpg实现对称和非对称加密

2.3.1 实现对称加密

范例：对称加密file文件，并在另一台主机上解密该文件，演示过程如下。

[root@centos7 data]#ll passwd*
-rw-r--r-- 1 root root 1503 Apr 22 20:21 passwd
#加密passwd文件，并设置加密口令
[root@centos7 data]#gpg -c passwd
gpg: directory `/root/.gnupg‘ created
gpg: new configuration file `/root/.gnupg/gpg.conf‘ created
gpg: WARNING: options in `/root/.gnupg/gpg.conf‘ are not yet active during this run
gpg: keyring `/root/.gnupg/pubring.gpg‘ created
[root@centos7 data]#ll passwd*
-rw-r--r-- 1 root root 1503 Apr 22 20:21 passwd
-rw-r--r-- 1 root root  648 Apr 22 20:21 passwd.gpg

#发送到centos8主机（100.200）
[root@centos7 data]#scp passwd.gpg 192.168.100.200:/data
root@192.168.100.200‘s password:
passwd.gpg                      100%  648   234.9KB/s   00:00
[root@centos7 data]#
#解密并输出名为passwd的文件
[root@centos8 data]# ll pass*
-rw-r--r-- 1 root root 648 Apr 22 20:24 passwd.gpg
[root@centos8 data]# gpg -o passwd -d passwd.gpg
gpg: directory ‘/root/.gnupg‘ created
gpg: keybox ‘/root/.gnupg/pubring.kbx‘ created
gpg: CAST5 encrypted data
dongdonggpg: encrypted with 1 passphrase

[root@centos8 data]# ll pass*
-rw-r--r-- 1 root root 1503 Apr 22 20:26 passwd
-rw-r--r-- 1 root root  648 Apr 22 20:24 passwd.gpg
[root@centos8 data]# cat passwd|head -n3    #可以查看到文件内容
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin

2.3.2 实现公钥加密

范例：在hostB（centos8）主机上用公钥加密，在hostA（centos7）主机上解密。

1、hostA上生成公钥/私钥对

2、hostA上导出公钥到file文件

3、复制file文件到hostB上

4、在需加密数据的hostB上生成公钥/私钥对，并设置秘钥口令

5、在hostB上导入hostA的公钥

6、用导入的公钥，加密hostB的文件centos8-file，生成centos8-file.gpg

7、发送加密的文件centos8-file.gpg到hostA

8、输入hostA私钥的密码解密文件

1、在centos7上生成公钥/私钥对
[root@centos7 data]#gpg --gen-key

Real name: centos7-key

You selected this USER-ID:
    "centos7-key"

2、centos7上查看公钥
[root@centos7 data]#gpg --list-keys
/root/.gnupg/pubring.gpg
------------------------
pub   2048R/9FB6A82F 2021-04-22
uid                  centos7-key
sub   2048R/59D590F4 2021-04-22

3、在centos7上导出公钥到centos7.pubkey（自己命名）
[root@centos7 data]#gpg -a --export -o centos7.pubkey
[root@centos7 data]#ll centos7.pubkey
-rw-r--r-- 1 root root 1707 Apr 22 20:40 centos7.pubkey

4、从centos7上复制公钥到需加密的centos8上
[root@centos7 data]#scp centos7.pubkey 192.168.100.200:/data
root@192.168.100.200‘s password:
centos7.pubkey                       100% 1707     1.2MB/s   00:00
[root@centos7 data]#

5、在需加密数据的centos8上生成公钥/私钥对，并输入秘钥口令
[root@centos8 data]# gpg --list-keys
[root@centos8 data]# gpg --gen-key

Real name: centos8

pub   rsa2048 2021-04-22 [SC] [expires: 2023-04-22]
      0EEB4748357FAC48B05B5135925EC56FDD6DA502
uid                      centos8
sub   rsa2048 2021-04-22 [E] [expires: 2023-04-22]

6、在centos8上导入centos7的公钥
[root@centos8 data]# ll centos7.pubkey
-rw-r--r-- 1 root root 1707 Apr 22 20:40 centos7.pubkey
[root@centos8 data]# gpg --import centos7.pubkey
gpg: key 9AD0A794726F1D70: public key "centos7-key" imported
gpg: Total number processed: 1
gpg:               imported: 1
[root@centos8 data]# gpg --list-keys
gpg: checking the trustdb
gpg: public key of ultimately trusted key 925EC56FDD6DA502 not found
gpg: marginals needed: 3  completes needed: 1  trust model: pgp
gpg: depth: 0  valid:   2  signed:   0  trust: 0-, 0q, 0n, 0m, 0f, 2u
gpg: next trustdb check due at 2023-04-22
/root/.gnupg/pubring.kbx
------------------------
pub   rsa2048 2021-04-22 [SC] [expires: 2023-04-22]
      24CF70781EF94E1845D63A93902DF943DFD5709A
uid           [ultimate] centos8
sub   rsa2048 2021-04-22 [E] [expires: 2023-04-22]

pub   rsa1024 2021-04-22 [SC]
      E5F9D0DA132624ECC6A690D19AD0A794726F1D70
uid           [ unknown] centos7-key
sub   rsa1024 2021-04-22 [E]

[root@centos8 data]#

7、用centos7导入的公钥，加密centos8的文件centos8-file，生成centos8-file.gpg
[root@centos8 data]# cp /etc/passwd ./centos8-file
[root@centos8 data]# ll centos8-file
-rw-r--r-- 1 root root 2266 Apr 22 20:49 centos8-file
[root@centos8 data]# gpg -e -r centos7-key centos8-file
gpg: FE2DBF7EC19FB62C: There is no assurance this key belongs to the named user
sub  rsa1024/FE2DBF7EC19FB62C 2021-04-22 centos7-key
 Primary key fingerprint: E5F9 D0DA 1326 24EC C6A6  90D1 9AD0 A794 726F 1D70
      Subkey fingerprint: 5E6C 4784 6863 515F C887  589E FE2D BF7E C19F B62C

It is NOT certain that the key belongs to the person named
in the user ID.  If you *really* know what you are doing,
you may answer the next question with yes.

Use this key anyway? (y/N) y

[root@centos8 data]# file centos8-file*
centos8-file:     ASCII text
centos8-file.gpg: PGP RSA encrypted session key - keyid: 7EBF2DFE 2CB69FC1 RSA (Encrypt or Sign) 1024b .
[root@centos8 data]#

8、发送加密的文件centos8-file.gpg到centos7
[root@centos8 data]# scp centos8-file.gpg 192.168.100.12:/data
Warning: Permanently added ‘192.168.100.12‘ (ECDSA) to the list of known hosts.
root@192.168.100.12‘s password:
centos8-file.gpg                        100% 1252     1.0MB/s   00:00
[root@centos8 data]#

9、在centos7中解密文件，解密时，需要输入centos7私钥的密码
[root@centos7 data]#ll centos8-file.gpg
-rw-r--r-- 1 root root 1252 Apr 22 20:52 centos8-file.gpg
[root@centos7 data]#gpg -o centos8-file -d centos8-file.gpg

You need a passphrase to unlock the secret key for
user: "centos7-key"
1024-bit RSA key, ID C19FB62C, created 2021-04-22 (main key ID 726F1D70)

gpg: encrypted with 1024-bit RSA key, ID C19FB62C, created 2021-04-22
      "centos7-key"

[root@centos7 data]#

2.4 单向哈希算法

哈希算法：也称为散列算法，将任意数据缩小成固定大小的“指纹”，称为digest，即摘要

特性：

任意长度输入，固定长度输出
若修改数据，指纹也会改变，且有雪崩效应，数据的一点微小改变，生成的指纹值变化非常大。
无法从指纹中重新生成数据，即不可逆，具有单向性

#这两个用户的密码相同，因为加salt值后，随机生成的哈希值不同
[root@centos7 data]#cat /etc/shadow
tom:$6$/Dp4Urgy$CrSal8neyDJYyyzThegoLP0rgtCS/Lke.DNz8ihWujQkm/HOChee0vMoVw64upVdqjs0cvuzGhV1TJ6gP4Q3h0:18708:0:99999:7:::
alias:$6$DzPyEL2j$hXUSsi6dH5qeUuZ0yIKlb5.eEPJx72GCxGSoqFpOLKy4HpkN6y7ovHryw7dzY7ZneZQWPUV3gS2ro6MlOgLhP0:18708:0:99999:7:::

功能：数据完整性

常见算法：

md5: 128bits、sha1: 160bits、sha224 、sha256、sha384、sha512

常用工具：

md5sum | sha1sum [ --check ] file

openssl、gpg

rpm -V

数字签名

范例：

#文件改名后，只要内容相同，哈希值也相同
[root@centos8 data]# cat hello.txt
hello world!
[root@centos8 data]# md5sum hello.txt
c897d1410af8f2c74fba11b1db511e9e  hello.txt
[root@centos8 data]# ll hello.txt
-rw-r--r--. 1 root root 13 Dec  6 17:41 hello.txt
[root@centos8 data]# mv hello.txt hello.log
[root@centos8 data]# md5sum hello.log
c897d1410af8f2c74fba11b1db511e9e  hello.log
[root@centos8 data]#

#虽然字节相同，文件名相同，但文件内容发生变化，哈希值就不同
[root@centos8 data]# vi hello.txt
[root@centos8 data]# sed -i ‘s/!/*/‘ hello.log
[root@centos8 data]# ll hello.log
-rw-r--r-- 1 root root 13 Apr 23 21:25 hello.log
[root@centos8 data]# md5sum hello.log
952b285bcf8ee7723251a947b7f29ae1  hello.log
[root@centos8 data]# cat hello.log
hello world*
#该回原内容，哈希值相同
[root@centos8 data]# sed -i ‘s/*/!/‘ hello.log
[root@centos8 data]# cat hello.log
hello world!
[root@centos8 data]# md5sum hello.log
c897d1410af8f2c74fba11b1db511e9e  hello.log

根据哈希值进行下载文件的确认，如网站上的centos7-Everything-2009版

挂载光盘到centos7，执行如下命令查询哈希值
[root@centos7 /]#sha256sum /dev/sr0
689531cce9cf484378481ae762fae362791a9be078fda10e4f6977bf8fa71350  /dev/sr0
和网站上的sha256sum.txt文件中的哈希值比较，完全相同，可以放心安装。

https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/sha256sum.txt
689531cce9cf484378481ae762fae362791a9be078fda10e4f6977bf8fa71350  CentOS-7-x86_64-Everything-2009.iso

也可以把自己的文件使用哈希算法生成一个哈希值存放在某个文件中，以后可以比较该文件是否改变。

[root@centos8 data]# sha256sum hello.log > sha256sum-hello.txt
[root@centos8 data]# sha256sum -c sha256sum-hello.txt
hello.log: OK
[root@centos8 data]# sed -i ‘s/!/-/‘ hello.log      #文件内容改变
[root@centos8 data]# cat hello.log
hello world-
[root@centos8 data]# sha256sum -c sha256sum-hello.txt   #哈希校验失败
hello.log: FAILED
sha256sum: WARNING: 1 computed checksum did NOT match
[root@centos8 data]#

2.5 综合应用多种加密算法

即实现数据加密，又可以保证数据来源的可靠性、数据的完整性和一致性

技术分享图片

3、https的通信过程

HTTPS 协议：就是“HTTP 协议”和“SSL/TLS 协议”的组合。HTTP over SSL 或 HTTP over TLS ，对http协
议的文本数据进行加密处理后，成为二进制形式传输

3.1 HTTPS 工作的简化过程

客户端发起HTTPS请求

用户在浏览器里输入一个https网址，然后连接到服务器的443端口。
服务端的配置

采用HTTPS协议的服务器必须要有一套数字证书，可以自己制作，也可以向组织申请。区别就是自己颁发的证书需要客户端验证通过，才可以继续访问，而使用受信任的公司申请的证书则不会弹出提示页面。这套证书其实就是一对公钥和私钥。
传送服务器的证书给客户端

证书里其实就是公钥，并且还包含了很多信息，如证书的颁发机构，过期时间等等。证书中没有私钥信息，私钥另外存放在服务器的.key文件中。
客户端解析验证服务器证书

这部分工作是有客户端的TLS来完成的，首先会验证公钥是否有效，比如：颁发机构，过期时间等等，如果发现异常，则会弹出一个警告框，提示证书存在问题。如果证书没有问题，那么就生成一个随机值。然后用证书中公钥对该随机值进行非对称加密。
客户端将加密信息传送服务器

这部分传送的是用证书加密后的随机值，目的就是让服务端得到这个随机值，以后客户端和服务端的通信就可以通过这个随机值来进行加密解密了。
服务端解密信息

服务端将客户端发送过来的加密信息用服务器私钥解密后，得到了客户端传过来的随机值。
服务器加密信息并发送信息

服务器将数据利用随机值进行对称加密，再发送给客户端。
客户端接收并解密信息

客户端用之前生成的随机值解密服务传过来的数据，获取解密后的内容。

文本处理三剑客之awk和加密算法及实践

原文：https://blog.51cto.com/puppydong/2733064

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)