实时同步备份方法
1）利用脚本实现实时同步
2）利用软件实现实时同步

实时同步备份原理

存储服务器 ---> 实时同步 ---> 备份服务器

一 实时备份的服务该如何建立

1.如何将存储上的用户产生的数据进行实时监控，然后进行实时传送到备份服务器上。(inotify)
2.存储服务器要进行数据传输同步 如何进行数据传输同步 (rsync备份服务）

3. 如何让监控数据变化程序+rsync传输数据程序 建立关系.

二 如何进行实时监控目录数据的变化

监控目录数据变化软件：inotify
yum install -y inotify-tools

[root@nfs01 ~]# rpm -ql inotify-tools 
/usr/bin/inotifywait
/usr/bin/inotifywatch
/usr/lib64/libinotifytools.so.0
/usr/lib64/libinotifytools.so.0.4.1
/usr/share/doc/inotify-tools-3.14
/usr/share/doc/inotify-tools-3.14/AUTHORS
/usr/share/doc/inotify-tools-3.14/COPYING
/usr/share/doc/inotify-tools-3.14/ChangeLog
/usr/share/doc/inotify-tools-3.14/NEWS
/usr/share/doc/inotify-tools-3.14/README
/usr/share/man/man1/inotifywait.1.gz
/usr/share/man/man1/inotifywatch.1.gz

2.1 监控目录数据变化的命令

/usr/bin/inotifywait *****(重要)
/usr/bin/inotifywatch 监控事件（了解）
监控事件： 创建事件（6次） 删除事件（10） 修改事件 移动事件
监控这些东西意义不是很大

2.2 监控命令的应用及参数的含义

• -m|--monitor ***** Keep listening for events forever. Without this option, inotifywait will exit after one
  //让监控过程始终保持下去；没有这个参数，只监控一次
• -r|--recursive ***** Watch directories recursively.
  递归监控目录,对目录及目录的子目录也进行监控。
• --format <fmt> Print using a specified printf-like format string; read the man page for more details.
  //定义输出信息格式
  //时间信息 创建什么文件 事件信息：创建文件
• --timefmt <fmt> strftime-compatible format string for use with %T in --format string.
  //具体定义时间的格式
• -q|--quiet ** Print less (only print events) 利用脚本使用同步备份
  //输出更少的信息，只输出事件信息
• -e|--event <event1> [ -e|--event <event2> ... ]
  Listen for specific event(s). If omitted, all events are listened for.
  //只监控什么事件
• -exclue //排除监控目录的指定子目录
• -iexclude //排除的监控目录不区分大小写。

2.3 监控的事件

• access file or directory contents were read
  文件或目录内容被读取
• modify file or directory contents were written
  文件或目录内容被写入
• attrib file or directory attributes changed
  文件或目录属性被改变 （大小 权限 时间）
• close_write file or directory closed, after being opened in writeable mode
  文件或目录被关闭，在打开之后有写操作然后关闭文件
• close_nowrite file or directory closed, after being opened in read-only mode
  文件或目录被关闭，在打开之后没有任何操作
  编写文件--打开文件--编辑/没有编辑--关闭文件
• close file or directory closed, regardless of read/write mode
  文件或目录被关闭，写或读之后被关闭
• open file or directory opened
  文件或目录被打开
• moved_to file or directory moved to watched directory
  文件或目录被移动到监控目录 其他地方--数据--> 监控目录
• moved_from file or directory moved from watched directory
  文件或目录从监控目录移除 监控目录--数据--> 其他地方
• move file or directory moved to or from watched directory
  文件或目录移动到或移走
• create file or directory created within watched directory
  文件或目录在监控目录中被创建出来
• delete file or directory deleted within watched directory
  文件或目录在监控目录中被删除
• delete_self file or directory was deleted
  文件或目录被删除
• unmount file system containing file or directory unmounted
  监控目录中有一个挂载点，包含文件或目录的文件系统被卸载

PS：重要事件 close_write move create delete

2.4 监控命令语法结构

inotifywait 参数信息 监控目录
inotifywait -mrq --timefmt "%F %T" --format "%T %w%f %e" /data
默认把所有事件都监控
%T
%F %T %w %f
2019-07-20 22:13:20 /data/oldboy_dir/oldboy04.txt CREATE

%w --- 监控的目录
%f --- 触发事件文件数据信息
%e --- 触发时间信息

图片.png

三 实现实时同步脚本编写过程

第一个历程：进行数据监控
inotifywait -mrq --format "%w%f" -e "close_write,move,create,delete" /data
/data/file01.txt
/data/file01.txt

第二个历程：部署好rsync守护进程服务
服务端：安装软件 --> 编辑文件 --> 创建用户 --> 创建密码文件（授权）--> 创建备份目录（权限属主属组）--> 启动服务

客户端：创建密码文件（600）--> 测试传输

第三个历程：编写脚本
#!/bin/bash
/data/ 1000个文件
oldboy01.txt
inotifywait -mrq --format "%w%f" -e "close_write,move,create,delete" /data|
while read line
//这种情况直接调用会出现问题，在目录的子目录创建文件 或者重命名的时候都无法正常创建，会出现问题
//原因：是因为当删除的时候，rsync进行增量备份，删除的信息已经删除无法做同步。
do
rsync -az $line--delete /date/ rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password
//使用 --delete /date 传送rsync的传送的时候 使用无差异同步会解决上述问题。
done

3.2 当执行脚本写完出现的问题

• 问题一：执行脚本总有输出信息，并且脚本不能持续运行 & 让脚本后台运行
  如何实现脚本在后台一直运行：

• 方法一： 执行脚本后面加上 &
  sh /server/scripts/inotify_watch.sh & 连接断开，就后台进程会消失

• 方法二： 利用专用命令 nohup
  nohup sh /server/scripts/inotify_watch.sh &

• 问题二：批量创建文件的时候,数据已经同步完毕，但是脚本还在一直运行
  (touch oldboy{01..10}.txt,创建完就目录就会有的，当脚本读取完直接就传到备份服务器。后续while每一行读到的都属于增量备份。)

四.利用软件实现实时同步（专业的编写）

sersync软件实现实时同步：先安装好inotify+rsync
或者是lsyncd
git软件仓库

如何部署安装sersync软件
第一个历程：下载获取软件
[git软件仓库](https://github.com/wsgzao/sersync) 发明人--周洋 金山公司

第二个历程：上传软件到linux系统
yum install -y lrzsz
rz -y  windows数据 ---> linux系统
sz -y  linux数据   ---> windows系统

第三个历程：安装部署sersync软件（二进制包）
    unzip sersync_installdir_64bit.zip
    mv|cp -a /server/tools/sersync_installdir_64bit/sersync/ /usr/local/ 
//正规下载的软件只有两个目录 一个是/conf 一个是/bin

第四个历程：修改配置文件
    vim /usr/local/sersync/conf/confxml.xml //66行内容
说明：排除指定信息不要进行实时同步
<debug start="false"/> //开启调试功能。
    <fileSystem xfs="false"/>
    <filter start="false">

    6     <filter start="false">
                 过滤  开始
    7         <exclude expression="(.*)\.svn"></exclude>
    8         <exclude expression="(.*)\.gz"></exclude>
    9         <exclude expression="^info/*"></exclude>
   10         <exclude expression="^static/*"></exclude>
   11     </filter>
   //说明：指定监控的事件信息
   12     <inotify>
   13         <delete start="true"/>
   14         <createFolder start="true"/>
   15         <createFile start="false"/>
   16         <closeWrite start="true"/> //创建文件的时候也会触发此文件
   17         <moveFrom start="true"/>
   18         <moveTo start="true"/>
   19         <attrib start="false"/>
   20         <modify start="false"/>
   21     </inotify>

//重点说明：实现实时同步关键配置
    24         <localpath watch="/opt/tongbu">
    25             <remote ip="127.0.0.1" name="tongbu1"/>
    26             <!--<remote ip="192.168.8.39" name="tongbu"/>-->//是注释状态 可以监控多个目录
    27             <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    28         </localpath>
    29         <rsync>
    30             <commonParams params="-artuz"/> //后面不需要加/线
    31             <auth start="false" users="root" passwordfile="/etc/rsync.pas"/>
    32             <userDefinedPort start="false" port="874"/><!-- port=874 -->//如果端口有变化的时候可以更改为true

可参见此图可将配置文件输入相应的内容

第五个历程：启动实时同步服务，并检查测试
需要进入到此软件的/bin下目录，但注意的是不能用systemctl启动
    chmod +x /usr/local/sersync/bin/sersync
//不能直接执行此命令，环境变量中便没有环境变量的路径
    # ln -s /usr/local/sersync/bin/sersync /usr/local/sbin/sersync
    # ll /usr/local/sbin/sersync 
    lrwxrwxrwx 1 root root 30 Jul 21 00:28 /usr/local/sbin/sersync -> /usr/local/sersync/bin/sersync

第六个历程：使用命令启动服务
sersync -dro//o必须放在最后面   /usr/local/sersync/conf/confxml.xml //运行前先把之前运行的脚本先停止。pkill innotify

4.2 sersync命令的相关参数

命令重要参数：
参数-d:   启用守护进程模式
参数-r:   在监控前，将监控目录与远程主机用rsync命令推送一遍//测试 
参数-o:   指定配置文件，默认使用confxml.xml文件//可以使用多个文件 可以监控多个目录 一个配置文件监控一个目录
          /usr/local/sersync/conf/confxml.xml
          /usr/local/sersync/conf/confxml01.xml
          /usr/local/sersync/conf/confxml02.xml
sersync -dro /usr/local/sersync/conf/confxml.xml

五 实现弃用NFS服务方案：

图片.png