一、Rsync是什么?

Rsync (remote rsync) 是可以实现增量备份的远程（和本地）文件复制工具，目的是实现本地主机和远程主机上的文件同步(包括本地推到远程，远程拉到本地两种同步方式)，也可以实现本地不同路径下（不同目录、分区之间）文件的同步，但不能实现远程路径1到远程路径2之间的同步(scp可以实现)。配合计划任务，rsync能实现定时或周期同步；配合inotify或sersync，可以实现触发式的实时同步。

本篇文章主要介绍rsync的使用方法和它常用的功能。
rsync官方网站: https://rsync.samba.org/

二、 rsync同步过程讲解

不考虑rsync的实现细节，就文件同步而言，涉及了源文件和目标文件的概念，还涉及了以哪边文件为同步基准。例如，想让目标主机上的文件和本地文件保持同步，则是以本地文件为同步基准，将本地文件作为源文件推送到目标主机上。反之，如果想让本地主机上的文件和目标主机上的文件保持同步，则目标主机上的文件为同步基准，实现方式是将目标主机上的文件作为源文件拉取到本地。当然，要保持本地的两个文件相互同步，rsync也一样能实现，这就像Linux中cp命令一样，以本地某文件作为源，另一文件作为目标文件，但请注意，虽然rsync和cp能达到相同的目的，但它们的实现方式是不一样的。

既然是文件同步，在同步过程中必然会涉及到源和目标两文件之间版本控制的问题，例如是否要删除源主机上没有但目标上多出来的文件，目标文件比源文件更新(newer than source)时是否仍要保持同步，遇到软链接时是拷贝软链接本身还是拷贝软链接所指向的文件，目标文件已存在时是否要先对其做个备份等等。

rsync同步过程中由两部分模式组成：决定哪些文件需要同步的检查模式以及文件同步时的同步模式。

(1).检查模式是指按照指定规则来检查哪些文件需要被同步，例如哪些文件是明确被排除不传输的。默认情况下，rsync使用"quick check"算法快速检查源文件和目标文件的大小、mtime(修改时间)是否一致，如果不一致则需要传输。当然，也可以通过在rsync命令行中指定某些选项来改变quick check的检查模式，比如"--size-only"选项表示"quick check"将仅检查文件大小不同的文件作为待传输文件。rsync支持非常多的选项，其中检查模式的自定义性是非常有弹性的。

(2).同步模式是指在文件确定要被同步后，在同步过程发生之前要做哪些额外工作。例如上文所说的是否要先删除源主机上没有但目标主机上有的文件，是否要先备份已存在的目标文件，是否要追踪链接文件等额外操作。rsync也提供非常多的选项使得同步模式变得更具弹性。

相对来说，为rsync手动指定同步模式的选项更常见一些，只有在有特殊需求时才指定检查模式，因为大多数检查模式选项都可能会影响rsync的性能。

三、 rsync三种工作方式

以下是rsync的语法：

 Local: rsync [OPTION...] SRC... [DEST] 

Access via remote shell:

Pull: rsync [OPTION...] [USER@]HOST:SRC... [DEST]

Push: rsync [OPTION...] SRC... [USER@]HOST:DEST 

Access via rsync daemon: 

Pull: rsync [OPTION...] [USER@]HOST::SRC... [DEST]

rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]

Push: rsync [OPTION...] SRC... [USER@]HOST::DEST

rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST 

由此语法可知，rsync有三种工作方式：

(1).本地文件系统上实现同步。命令行语法格式为上述"Local"段的格式。
(2).本地主机使用远程shell和远程主机通信。命令行语法格式为上述"Access via remote shell"段的格式。
(3).本地主机通过网络套接字连接远程主机上的rsync daemon。命令行语法格式为上述"Access via rsync daemon"段的格式。

前两者的本质是通过管道通信，即使是远程shell。而方式(3)则是让远程主机上运行rsync服务，使其监听在一个端口上，等待客户端的连接。

但是，还有第四种工作方式：

(4).通过远程shell也能临时启动一个rsync daemon，这不同于方式(3)，它不要求远程主机上事先启动rsync服务，而是临时派生出rsync daemon，它是单用途的一次性daemon，仅用于临时读取daemon的配置文件，当此次rsync同步完成，远程shell启动的rsync daemon进程也会自动消逝。此通信方式的命令行语法格式同"Access via rsync daemon"，但要求options部分必须明确指定"--rsh"选项或其短选项"-e"。

四、 Rsync优势

• 速度快：除首次全拷贝外，其他时候实现增量拷贝，传输速度快

• 更安全：传输数据时可用ssh加密传输

• 带宽占用更少：rsync可对数据进行分块压缩传输，相比其他文件传输工具占用更少带宽

• 权限限制：非root用户也可安转和执行rsync命令

• 支持目录层级递归拷贝,可以镜像保存整个目录树和文件系统

• 支持限速

• 支持断点续传

• 支持128位MD4校验（3.0以后版本使用MD5加密）

• 可以很容易做到保持原来文件的权限、时间、软硬链接等等

五、 Rsync服务器端+客户端环境部署【yum安装】

如需源码安装，请关注即将发布的《详解Rsync，一款卓越的增量同步工具（二）》

系统环境：

服务器配置：阿里云ECS 11G

操作系统：CentOS7.2

rsync 版本：3.1.2

rsync 服务器：rsync-server （10.168.152.72）

rsync 客户端：rsync-client （10.117.217.172）

5.1 服务器端安装、配置rsync服务

• 5.1.1 安装

检查rsync 是否已经安装

yum list installed | grep rsync

若已安装，无需重新安装；若未安装，用以下命令安装：

yum install rsync -y

• 5.1.2 服务器端配置

vim /etc/rsyncd.conf

写入以下配置到该文件：

# /etc/rsyncd: configuration file for rsync daemon mode
# See rsyncd.conf man page for more options.

# GLOBAL OPTIONS
uid = root                         
gid = root                                  
use chroot = no                             
max connections = 0                                                   
pid file = /var/run/rsyncd.pid             
#This will give you a separate log file
log file = /var/log/rsync.log               
motd file = /etc/rsyncd/rsyncd.motd    
lock file = /var/run/rsyncd.lock
secrets file = /etc/rsyncd/rsyncd.secrets        
#This will log every file transferred - up to 85,000+ per user, per sync
transfer logging = yes                    
log format = %t %a %m %f %b
timeout = 300

# MODULE OPTIONS
[appdata]                               
path = /appdata/                                                                                
auth users = root                         
comment = app data            
exclude = photos/ 

• 5.1.3 建立/etc/rsyncd/rsyncd.secrets文件

vim /etc/rsyncd/rsyncd.secrets

输入，格式是“用户名:口令”，用户不要求是系统用户
root:pwd123456

• 5.1.4 为了密码的安全性，修改secrets文件权限为600

chmod 600 /etc/rsyncd/rsyncd.secrets

• 5.1.5 建立连接到服务器的客户端看到的欢迎信息文件/etc/rsyncd/rsyncd.motd

vim /etc/rsyncd/rsyncd.motd

输入：
======welcome to synchronize appdata======

• 5.1.6 启动rsync服务

rsync --daemon

• 5.1.7 查看873端口是否起来

netstat -tunpl

如果rsync启动成功，可以看到873端口已经在监听了。

5.2 客户端服务器配置

• 5.2.1 安装

检查rsync 是否已经安装

yum list installed | grep rsync

若已安装，无需重新安装；若未安装，用以下命令安装：

yum install rsync -y

• 5.2.2 启动rsync服务

rsync --daemon

5.3 通过rsync客户端同步数据

image.png

更多同步数据的场景演示，请关注即将发布的《详解Rsync，一款卓越的增量同步工具（二）》

六、Rsync配置文件全解析

配置文件 rsyncd.conf 由全局配置和若干模块配置组成。配置文件的语法为：

• 模块以 [模块名] 开始

• 参数配置行的格式是 name = value ，其中 value 可以有两种数据类型：

  • 字符串（可以不用引号定界字符串）

  • 布尔值（1/0 或 yes/no 或 true/false）

• 以 # 或 ; 开始的行为注释

• \ 为续行符

全局参数

在文件中 [module] 之外的所有配置行都是全局参数。当然也可以在全局参数部分定义模块参数，这时该参数的值就是所有模块的默认值。

模块参数

模块参数主要用于定义 rsync 服务器哪个目录要被同步。模块声明的格式必须为 [module] 形式，这个名字就是在 rsync 客户端看到的名字，类似于 Samba 服务器提供的共享名。而服务器真正同步的数据是通过 path 来指定的。可以根据自己的需要，来指定多个模块，模块中可以定义以下参数：

a. 基本模块参数

b. 模块控制参数

c. 模块文件筛选参数

• 一个模块只能指定一个exclude 参数、一个include 参数。
• 结合 include 和 exclude 可以定义复杂的exclude/include 规则 。
• 这几个参数分别与相应的rsync 客户命令选项等价，唯一不同的是它们作用在服务器端。
• 关于如何书写规则文件的内容请参考http://www.howtocn.org/rsync:use_rsync。

d. 模块用户认证参数

• rsync 认证口令文件的权限一定是 600，否则客户端将不能连接服务器。
• rsync 认证口令文件中每一行指定一个 用户名:口令对，
  格式为：username:passwd
• 一般来说口令最好不要超过8个字符。若您只配置匿名访问的 rsync 服务器，则无需设置上述参数。

e. 模块访问控制参数

客户主机列表定义可以是以下形式：

• 单个IP地址。例如：192.168.0.1
• 整个网段。例如：192.168.0.0/24，192.168.0.0/255.255.255.0
• 可解析的单个主机名。例如：centos，centos.bsmart.cn
• 域内的所有主机。例如：*.bsmart.cn
• “*”则表示所有。
• 多个列表项要用空格间隔。

f. 模块日志参数

设置了”log file”参数时，在日志每行的开始会添加”%t [%p]“。
可以使用的日志格式定义符如下所示：

• %a - 远程IP地址

• %h - 远程主机名

• %l - 文件长度字符数

• %p - 该次 rsync 会话的 PID

• %o - 操作类型：”send” 或 “recv”

• %f - 文件名

• %P - 模块路径

• %m - 模块名

• %t - 当前时间

• %u - 认证的用户名（匿名时是 null）

• %b - 实际传输的字节数

• %c - 当发送文件时，记录该文件的校验码