首页 > 系统服务 > 详细

Linux 笔记 - 第十三章 Linux 系统日常管理之(四)Linux 数据备份工具 rsync 和网络配置

时间:2018-07-14 23:20:35      阅读:273      评论:0      收藏:0      [点我收藏+]

博客地址:http://www.moonxy.com

一、前言

sync 命令是一个远程数据同步工具,可通过 LAN/WAN 快速同步多台主机间的文件,可以理解为 remote sync(远程同步)。rsync 使用所谓的 "rsync算法" 来使本地和远程两个主机之间的文件达到同步,这个算法只传送两个文件的不同部分,而不是每次都整份传送,因此速度相当快。rsync 不仅可以远程同步数据(类似于 scp),还可以本地同步数据(类似于 cp),但不同于 cp 或 scp 的一点是,rsync 不会覆盖以前的数据(如果数据已经存在),而是先判断已经存在的数据和新数据的差异,只有当源数据或目标数据出现不一致时,才会把不相同的部分覆盖。rsync 是一个功能非常强大的工具,其命令也有很多功能特色选项。如果没有安装 rsync 命令,可以使用 "yum install -y rsync" 安装。

二、rsync 的命令格式

rsync [OPTION]... SRC DEST

rsync [OPTION]... SRC [USER@]host:DEST

rsync [OPTION]... [USER@]HOST:SRC DEST

rsync [OPTION]... [USER@]HOST::SRC DEST

rsync [OPTION]... SRC [USER@]HOST::DEST

rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]

其中 SRC 表示源文件,DEST 表示目标文件。

对应于以上六种命令格式,rsync 有六种不同的工作模式:

1)拷贝本地文件。当SRC和DES路径信息都不包含有单个冒号":"分隔符时就启动这种工作模式。如:rsync -a /data /backup

2)使用一个远程shell程序(如rsh、ssh)来实现将本地机器的内容拷贝到远程机器。当DST路径地址包含单个冒号":"分隔符时启动该模式。如:rsync -avz *.c foo:src

3)使用一个远程shell程序(如rsh、ssh)来实现将远程机器的内容拷贝到本地机器。当SRC地址路径包含单个冒号":"分隔符时启动该模式。如:rsync -avz foo:src/bar /data

4)从远程rsync服务器中拷贝文件到本地机。当SRC路径信息包含"::"分隔符时启动该模式。如:rsync -av root@192.168.78.192::www /databack

5)从本地机器拷贝文件到远程rsync服务器中。当DST路径信息包含"::"分隔符时启动该模式。如:rsync -av /databack root@192.168.78.192::www

6)列远程机的文件列表。这类似于rsync传输,不过只要在命令中省略掉本地机信息即可。如:rsync -v rsync://192.168.78.192/www

-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD。
-r, --recursive 对子目录以递归模式处理。
-v, --verbose 详细模式输出。
-u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件,不覆盖更新的文件。
-l, --links 保留软链接。
-L, --copy-links 想对待常规文件一样处理软链结。
-p, --perms 保持文件权限。
-o, --owner 保持文件属主信息。
-g, --group 保持文件属组信息。
-D, --devices 保持设备文件信息。
-t, --times 保持文件时间信息。
-e, --rsh=command 指定使用rsh、ssh方式进行数据同步。
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件。
--existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件。
--delete 删除那些DST中有,SRC没有的文件。
-P 等同于 --partial。
--progress 显示备份过程。
-z, --compress 对备份的文件在传输时进行压缩处理。
--exclude=PATTERN 指定排除不需要传输的文件模式。
--include=PATTERN 指定不排除而需要传输的文件模式。
--exclude-from=FILE 排除FILE中指定模式的文件。
--include-from=FILE 不排除FILE指定模式匹配的文件。
--config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件。
--port=PORT 指定其他的rsync服务端口。
--progress 在传输时现实传输过程。
--password-file=FILE 从FILE中得到密码。

这些还只是 rsync 的一部分选项,其中常用的有 a、v、L、--delete 和 --exclude 这几个,其中 -a 选项等同于 -rlptgoD,-a 选项后面可以跟一个 --no-OPTION,表示关闭 -rlptgoD 中的某一个,比如 -a--no-l 等同于 -rptgoD。

三、rsync 应用实例

3.1 将本地的 test1 目录直接复制成 test2 目录

单机模式,直接将一个目录的文件备份到另外一个目录下,如下:

# rsync -avL test1/ test2/

以下为远程模式,将源端看做客户端,远端看做服务器。

3.2 通过 ssh 的方式备份

首先启动服务端的ssh服务:

# service sshd start

接下来就可以在客户端使用rsync命令来备份服务端上的数据了,SSH方式是通过系统用户来进行备份的,如下:

rsync -avL --progress -e ssh work@192.168.1.121:/www/* /databack/experiment/rsync
work@172.16.78.192‘s password:
receiving file list ...
5 files to consider
test/
a
0 100% 0.00kB/s 527:35:41 (1, 20.0% of 5)
b
67 100% 65.43kB/s 0:00:00 (2, 40.0% of 5)
c
0 100% 0.00kB/s 527:35:41 (3, 60.0% of 5)
dd
100663296 100% 42.22MB/s 0:00:02 (4, 80.0% of 5)
sent 96 bytes received 98190 bytes 11563.06 bytes/sec
total size is 100663363 speedup is 1024.19

上面的信息描述了整个的备份过程,以及总共备份数据的大小。

这个实例表示 pull(拉取),从服务器拉取文件到本地目录,同样也可以 push(推送),表示将本地文件推送到服务器上面来备份。如果不通过密钥,则像上面一样还要输入密码来交互。可以设置 ssh 密钥,生成公钥和私钥,这样在同步时,就不需要输入密码了,适合于 shell 脚本。

3.3 通过后台服务的方式

默认安装好rsync程序后,并不会自动创建rsync的主配置文件,需要手工来创建,其主配置文件为 "/etc/rsyncd.conf"。

配置文件 rsyncd.conf 由全局配置和若干模块配置组成。配置文件的语法为:

1)模块以 [模块名] 开始

2)参数配置行的格式是 name = value ,其中 value 可以有两种数据类型:

字符串(可以不用引号定界字符串)

布尔值(1/0 或 yes/no 或 true/false)

3)以 # 或 ; 开始的行为注释

4)\ 为续行符

全局参数

在文件中 [module] 之外的所有配置行都是全局参数。当然也可以在全局参数部分定义模块参数,这时该参数的值就是所有模块的默认值。

技术分享图片

模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式,这个名字就是在 rsync 客户端看到的名字,类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。可以根据自己的需要,来指定多个模块,模块中可以定义以下参数:

a. 基本模块参数

技术分享图片

b. 模块控制参数

技术分享图片

c. 模块文件筛选参数

技术分享图片

d. 模块用户认证参数

技术分享图片

rsync 认证口令文件的权限一定是 600,否则客户端将不能连接服务器。

rsync 认证口令文件中每一行指定一个 用户名:口令 对,格式为:username:passwd

一般来说口令最好不要超过8个字符。若您只配置匿名访问的 rsync 服务器,则无需设置上述参数。

e. 模块访问控制参数

技术分享图片

客户主机列表定义可以是以下形式:

单个IP地址。例如:192.168.0.1

整个网段。例如:192.168.0.0/24,192.168.0.0/255.255.255.0

可解析的单个主机名。例如:centos,centos.bsmart.cn

域内的所有主机。例如:*.bsmart.cn

"*"则表示所有。

多个列表项要用空格间隔。

f. 模块日志参数

技术分享图片

设置了"log file"参数时,在日志每行的开始会添加"%t [%p]"。

可以使用的日志格式定义符如下所示:

%a - 远程IP地址

%h - 远程主机名

%l - 文件长度字符数

%p - 该次 rsync 会话的 PID

%o - 操作类型:”send” 或 “recv”

%f - 文件名

%P - 模块路径

%m - 模块名

%t - 当前时间

%u - 认证的用户名(匿名时是 null)

%b - 实际传输的字节数

%c - 当发送文件时,记录该文件的校验码

创建该文件并添加如下内容:

vi /etc/rsyncd.conf

uid=root
gid=root
max connections=4
log file=/var/log/rsyncd.log
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsyncd.lock
secrets file=/etc/rsyncd.passwd
hosts allow=192.168.1.0/24

[www]
comment= backup web
path=/www
read only = no
exclude=test
auth users=work

创建密码文件,采用这种方式不能使用系统用户对客户端进行认证,所以需要创建一个密码文件,其格式为 "username:password",用户名可以和密码可以随便定义,最好不要和系统帐户一致,同时要把创建的密码文件权限设置为600,这在前面的模块参数做了详细介绍。

编辑 secrets file 并保存后赋予 600 权限,如果权限不对,则不能完成同步,如下:

echo "work:abc123" > /etc/rsyncd.passwd
chmod 600 /etc/rsyncd.passwd

启动 rsyncd 服务,如下:

# rsync --daemon --config=/etc/rsyncd.conf

启动后查看873端口是否启动,如下:

# netstat-lnp |grep 873

完成以上工作,现在就可以对数据进行同步了,如下:

rsync -avz --progress work@192.168.1.121::www /databack/experiment/rsync

Password:
receiving file list ...
6 files to consider
./ files...
a
0 100% 0.00kB/s 528:20:41 (1, 50.0% of 6)
b
67 100% 65.43kB/s 0:00:00 (2, 66.7% of 6)
c
0 100% 0.00kB/s 528:20:41 (3, 83.3% of 6)
dd
100663296 100% 37.49MB/s 0:00:02 (4, 100.0% of 6)
sent 172 bytes received 98276 bytes 17899.64 bytes/sec
total size is 150995011 speedup is 1533.75

发现此时也要输入密码才能进行数据同步,这次我们添加一个选项 --password-file=/tmp/rsync.password ,这时当我们以work用户登录 rsync 服务器同步数据时,密码将读取 /tmp/rsync.password 这个文件。这个文件内容只是work用户的密码。

# touch /tmp/rsync.password
# chmod 600 /tmp/rsync.password 
# echo "123456" > /tmp/rsync.password 

然后执行如下同步命令时就不再需要输入密码了,适合于 shell 脚本:

# rsync -avzP  --password-file=/tmp/rsync.password work@172.16.1.135::www  /databack/experiment/rsync

附录:

参考如下:

rsync配置

Linux 笔记 - 第十三章 Linux 系统日常管理之(四)Linux 数据备份工具 rsync 和网络配置

原文:https://www.cnblogs.com/cnjavahome/p/9311012.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!