之前利用的rsync+crond来触发实现同步的瓶颈在于，rsync在同步数据时，需要先扫描所有文件后进行比对，而后进行差异传输，如果文件数量级别很大而且变化会很快，扫描所有文件会非常耗时，而且会存在漏同步的问题，造成效率低下。

   而rsync+inotify则会弥补前者先扫描后同步的效率问题，采用系统级别监控各种变化，当文件发生任何变化，就会触发rsync同步，解决效率与实时性问题。

LINUX操作系统:  centOS6.3 64bit

rsync:          系统自带

inotify-tools:  inotify-tools-master

www1(rsync server):192.168.7.73

www2(rsync client):192.168.7.74

拓扑图：

(server)表示仅服务端配置

(client)表示仅客户端配置

(server,client)表示客户端与服务端都需配置

环境搭建：(server,client)

1.关闭iptables和SELINUX

# service iptables stop

# setenforce 0

# vi /etc/sysconfig/selinux

---------------

SELINUX=disabled

---------------

判断LINUX系统内核是否达到2.6.13以上：

# uname -a

-------------

Linux www1.example.com 2.6.32-279.el6.x86_64 #1 SMP Fri Jun 22 12:19:21 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux

-------------

查看inotify目录是否存在：

# ls -lsart /proc/sys/fs/inotify/

------------------

总用量 0

0 dr-xr-xr-x 0 root root 0 6月   4 14:04 ..

0 dr-xr-xr-x 0 root root 0 6月   4 17:35 .

0 -rw-r--r-- 1 root root 0 6月   4 17:35 max_user_watches

0 -rw-r--r-- 1 root root 0 6月   4 17:35 max_user_instances

0 -rw-r--r-- 1 root root 0 6月   4 17:35 max_queued_events

------------------

若返回以上内容，则系统支持inotify.

一.安装rsync:(server,client)

传送门：http://www.showerlee.com/archives/419

配置：(server)

# vi /etc/rsyncd.conf

--------------------

uid = root

gid = root

use chroot = no

max connections = 10

strict modes = yes

port = 873

address = 192.168.7.73

[test]

path = /test

comment = mirror for test

ignore errors

read only = no

list = no

auth users = user

secrets file = /etc/rsync.pas

hosts allow = *

# hosts deny = 0.0.0.0/0

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

--------------------

启动rsync

# rsync --daemon --config=/etc/rsyncd.conf

重启xinetd使其配置生效：

# /etc/init.d/xinetd restart

二.安装inotify-tools：(server,client)

可以到https://github.com/rvoicilas/inotify-tools/下载zip包，然后传到系统进行编译安装：

# unzip inotify-tools-master.zip

# cd inotify-tools-master

# ./autogen.sh

# ./configure --prefix=/usr/local/inotify

# make && make install

配置client端的inotify：(client)

# vi /etc/rc.d/inotify.sh

该脚本在做客户端目录下文件若发生变化，则向服务端做同步上传操作，也就是保持客户端目录文件发生变化，服务端也相应改变。

------------------

#!/bin/bash

src=/test

des=test

ip=192.168.7.73

/usr/local/inotify/bin/inotifywait -mrq --timefmt '%d/%m/%y/%H:%M' --format '%T%w%f' -e modify,delete,create,attrib $src | while read file

  do

       rsync -vzrtopg --delete --progress $src user@$ip::$des --password-file=/etc/rsync.pas &&

   echo "$src has been resynced"

  done

------------------

赋予执行权限

# chmod +x /etc/rc.d/inotify.sh

执行脚本并做开机启动：

# /etc/rc.d/inotify.sh

# echo "/etc/rc.d/inotify.sh" >> /etc/rc.local

注：这个脚本的作用是通过inotify监控文件目录的变化，进而触发rsync进行同步操作，由于这是通过内核完成的主动式触发操作，所以比rsync遍历整个目录的扫描方式效率要高很多。

验证：

在客户端创建5个文件，到服务端查看文件是否实时同步？

(client)

# cd /test

# touch 1 2 3 4 5

(server)

# cd /test

# ls

-------------

1  2  3  4  5

-------------

验证成功，client端的目录发生变化会实时同步到server端，类似一个网络raid-1

总结：

rsync+inotify比较适用于轻量级文件即时同步，如果量大建议还是使用共享存储方法解决。

参考：酒哥的构建高可用LINUX服务器（第2版）

    centos6.3下默认已经安装，只需保证依赖服务xinetd开启即可。

环境搭建：

注：首先关闭selinux与iptables

# vi /etc/sysconfig/selinux

---------

SELINUX=disabled

---------

# setenforce 0

# service iptables stop

配置分为2个部分

server端：

1.安装rsync(centos6.3默认已安装)

# yum install rsync -y

# yum install xinetd -y

2.启动rsync依赖服务

# /etc/init.d/xinetd start

# chkconfig xinetd on

3.配置/etc/rsyncd.conf

----------------------

uid = root

gid = root

use chroot = no

max connections = 10

strict modes = yes

port = 873

address = 172.24.40.30

[mail]

path = /home/domains/

comment = mirror for extmail

ignore errors

read only = no

list = no

auth users = user

secrets file = /etc/rsync.pas

hosts allow = 172.24.40.50

hosts deny = 0.0.0.0/0

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

--------------------------

# 表示可写

read only = no

# 端口

port = 873

4.配置/etc/rsync.pas  

在服务器端，必须加入登陆名和密码，在client上，只需要输入密码

# vi /etc/rsync.pas

----------------

user:123456

---------------

并给与相关权限(重要,必须是600)

# chmod 600 /etc/rsync.pas

5.配置/etc/rsync.motd

# vi /etc/rsyncd.motd

welcome to use the rsync services!

6.启动rsync

# rsync --daemon --config=/etc/rsyncd.conf

client端：

1.安装rsync(centos6.3默认已安装)

# yum install rsync -y

# yum install xinetd -y

2.启动rsync依赖服务

# /etc/init.d/xinetd start

# chkconfig xinetd on

3.客户端必须配置密码文件

# vi /etc/rsync.pas

------------------------

123456

----------------------

并给与相关权限(重要,必须是600)

# chmod 600 /etc/rsync.pas

4.然后在客户端输入命令同步：

下载(获取):

# rsync -auzv --progress --delete  --password-file=/etc/rsync.pas user@172.24.40.30::mail      /home/domains

上传(推送):

# rsync -auzv --progress --delete  --password-file=/etc/rsync.pas /home/domains/* user@172.24.40.30::mail      

注：后面加 --port 873 可添加端口号信息，若在配置文件中自定义端口，这里需要加--port参数。

请注意这部分:

user@172.24.40.30::mail /home/domains

----------------

user对应server端配置文件的auth users = user

      和server端/etc/rsync.pas内用户名:密码(user:123456)

172.24.40.30对应服务端IP地址

mail对应server端配置文件的[mail]

/home/domains表示client端同步server端数据后数据保存在client端目录的路径

@与::均起到字符连接功能

----------------

以上方法为明文传输，传输过程中密码可能会被sniffer截取：

所以推荐线上使用ssh秘钥认证+rsync加密传输，

ssh秘钥认证配置传送门：http://showerlee.blog.51cto.com/2047005/1217651

按照上面的格式加密重写(完整格式)：

下载(获取):

# rsync -auzvP --delete -e "ssh -p22" root@172.24.40.30:/home/domains/ /home/domains/ --port 873

上传(推送):

# rsync -auzvP --delete -e "ssh -p22" /home/domains/ root@172.24.40.30:/home/domains/ --port 873

注： --progress 可以简写为 -P

5.定时计划任务：      

在crontab中增加一条命令，设置每分钟自动执行一次。

# crontab -e

----------------------

* * * * * /usr/bin/rsync  -auzv --progress --delete  --password-file=/etc/rsync.pas user@172.24.40.30::mail /home/domains

---------------------

6.为了安全，若系统启用防火墙，建议增加一条iptables命令

# iptables -A INPUT -P tcp --dport:873 -j ACCEPT

7.如果需要多个不同目录支持同步，再增加一个

[MYSQL]

path = /usr/local/mysql/data

comment = mysql mirror

ignore errors

read only = yes

list = no

auth users = root

secrets file = /etc/rsync.pas

hosts allow = 172.24.40.50

hosts deny = 0.0.0.0/0

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

重启rsync

# pkill rsync

# rsync --daemon --config=/etc/rsyncd.conf

然后在客户端输入命令同步

rsync  -auzv --progress --delete  --password-file=/etc/rsync.pas user@172.24.40.30::MYSQL /usr/local/mysql/data

-----------------大功告成-----------------------------

注：配置过程问题：

问题1：

在client上遇到问题：

rsync -auzv --progress --password-file=/etc/rsync.pas root@192.168.133.128::backup /home/

rsync: could not open password file "/etc/rsync.pas": No such file or directory (2)

Password:

@ERROR: auth failed on module backup

rsync error: error starting client-server protocol (code 5) at main.c(1506) [Receiver=3.0.7]

遇到这个问题：client端没有设置/etc/rsync.pas这个文件，而在使用rsync命令的时候，加了这个参数--

password-file=/etc/rsync.pas

问题2：

rsync -auzv --progress --password-file=/etc/rsync.pas root@192.168.133.128::backup /home/

@ERROR: auth failed on module backup

rsync error: error starting client-server protocol (code 5) at main.c(1506) [Receiver=3.0.7]

遇到这个问题：client端已经设置/etc/rsync.pas这个文件，里面也设置了密码111111，和服务器一致，但是

服务器段设置有错误，服务器端应该设置/etc/rsync.pas  ，里面内容root:111111 ,这里登陆名不可缺少

问题3：

rsync -auzv --progress --password-file=/etc/rsync.pas root@192.168.133.128::backup /home/

@ERROR: chdir failed

rsync error: error starting client-server protocol (code 5) at main.c(1506) [Receiver=3.0.7]

遇到这个问题，是因为服务器端的/home/backup  其中backup这个目录并没有设置，所以提示：chdir failed

问题4：

rsync: write failed on "/home/backup2010/wensong": No space left on device (28)

rsync error: error in file IO (code 11) at receiver.c(302) [receiver=3.0.7]

rsync: connection unexpectedly closed (2721 bytes received so far) [generator]

rsync error: error in rsync protocol data stream (code 12) at io.c(601) [generator=3.0.7]

磁盘空间不够，所以无法操作。

可以通过df /home/backup2010 来查看可用空间和已用空间

问题5：网络收集问题

1、权限问题

类似如下的提示：rsync: opendir "/kexue" (in dtsChannel) failed: Permission denied (13)注意查看同步的目录权限是否为755

2、time out

rsync: failed to connect to 203.100.192.66: Connection timed out (110)

rsync error: error in socket IO (code 10) at clientserver.c(124) [receiver=3.0.5]

检查服务器的端口netstat –tunlp，远程telnet测试。

3、服务未启动

rsync: failed to connect to 10.10.10.170: Connection refused (111)

rsync error: error in socket IO (code 10) at clientserver.c(124) [receiver=3.0.5]

启动服务：rsync --daemon --config=/etc/rsyncd.conf

4、磁盘空间满

rsync: recv_generator: mkdir "/teacherclubBackup/rsync……" failed: No space left on device (28)

*** Skipping any contents from this failed directory ***

5、Ctrl+C或者大量文件

rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(544) [receiver=3.0.5]

rsync error: received SIGINT, SIGTERM, or SIGHUP (code 20) at rsync.c(544) [generator=3.0.5]

6、xnetid启动

rsync: read error: Connection reset by peer (104)

rsync error: error in rsync protocol data stream (code 12) at io.c(759) [receiver=3.0.5]

查看rsync日志

rsync: unable to open configuration file "/etc/rsyncd.conf": No such file or directory

xnetid查找的配置文件位置默认是/etc下，根据具体情况创建软链接。例如：

ln -s /etc/rsyncd/rsyncd.conf /etc/rsyncd.conf

或者更改指定默认的配置文件路径，在/etc/xinetd.d/rsync配置文件中

目前业内比较靠谱的同步解决方案有：

rsync+inotify-tools，Openduckbill+inotify-tools和rsync+sersync

前两者由于是基于脚本语言编写，所以规范程度，执行效率相对rsync+sersync就稍微弱一些。

sersync是使用c++编写，基于boost1.43.0,inotify api,rsync command开发，主要用于服务器同步，web镜像等功能。其对linux系统文件系统产生的临时文件和重复的文件操作能够进行过滤，所以在结合rsync同步的时候，节省了运行时耗和网络资源。因此更快,更适合线上使用。

本篇博文就是为了实现将sersync推送端/data下的数据实时同步到rsync接收端/data目录下，实现rsync服务器为sersync的镜像服务器

注：使用rsync+crontab做定时同步时，主服务器端开启rsync守护进程，而镜像服务器是运行rsync客户端，平时一般会利用crontab定时获取rsync服务器上的数据。

但使用rsync+sersync做实时同步时，用于推送文件的服务器运行sersync服务，用于接收文件的服务器则运行rsync守护进程，简单来说就是sersync会利用rsync命令将文件推送到rsync服务器，实际线上使用一般会把sersync作为主服务器，rsync作为镜像服务器，实现数据同步备份，web镜像等功能

解决方案：

操作系统:    centos6.3 x86

rsync:       centos自带yum源

sersync:     sersync2.5_32bit

sersync 推送端  192.168.100.74

rsync   接收端  192.168.100.29

环境搭建：(接收端,推送端)

一.首先关闭selinux与iptables

# vi /etc/sysconfig/selinux

---------

SELINUX=disabled

---------

# setenforce 0

# service iptables stop

在使用sersync之前，我们必须安装配置好rsync服务器

rsync (接收端)

一.安装rsync(centos6.3默认已安装)

# yum install rsync -y

# yum install xinetd -y

二.启动rsync依赖服务

# /etc/init.d/xinetd start

# chkconfig xinetd on

三.配置：

# vi /etc/rsyncd.conf

--------------------

uid = root

gid = root

use chroot = no

max connections = 10

strict modes = yes

port = 873

address = 192.168.100.29

[data] # rsync模块名，后面配置sersync会用到

path = /data  # 该同步目录只要uid所指定的用户有写权限即可

comment = mirror for test

ignore errors

read only = no

list = no

auth users = user

secrets file = /etc/rsync.pas # 密码认证文件，必须为600权限，否则rsync传输会报错

hosts allow = *

# hosts deny = 0.0.0.0/0

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

--------------------

四.创建同步目录

# mkdir /data

五.配置认证文件

# echo "user:123456" > /etc/rsync.pas

# chmod 600 /etc/rsync.pas

# rsync --daemon --config=/etc/rsyncd.conf

六.重启xinetd使其配置生效：

# /etc/init.d/xinetd restart

七.设置开机启动：

# echo "rsync --daemon --config=/etc/rsyncd.conf" >> /etc/rc.local

sersync (推送端)

一.下载sersync源码包

# wget http://sersync.googlecode.com/files/sersync2.5_32bit_binary_stable_final.tar.gz

注:若在64位平台安装则可下载64位sersync源码包,本例用32位

# wget http://sersync.googlecode.com/files/sersync2.5_64bit_binary_stable_final.tar.gz

二.创建sersync目录结构

# mkdir /usr/local/sersync

# mkdir /usr/local/sersync/conf

# mkdir /usr/local/sersync/bin

# mkdir /usr/local/sersync/log

# tar zxvf sersync2.5_32bit_binary_stable_final.tar.gz

# cd GNU-Linux-x86/

# cp confxml.xml /usr/local/sersync/conf

# cp sersync2 /usr/local/sersync/bin

三.配置sersync

1.首先创建连接rsyncd的密码文件

# echo "123456" >/etc/rsync.pas

# chmod 600 /etc/rsync.pas

2.配置confxml.xml

# cd /usr/local/sersync/conf

# vi confxml.xml

按照注释进行修改

-----------------------------

<?xml version="1.0" encoding="ISO-8859-1"?>

<head version="2.5">

   # 设置本地IP和端口

   <host hostip="localhost" port="8008"></host>

   # 开启DUBUG模式  

   <debug start="false"/>

   # 开启xfs文件系统

   <fileSystem xfs="false"/>

   # 同步时忽略推送的文件(正则表达式),默认关闭

   <filter start="false">

       <exclude expression="(.*)\.svn"></exclude>

       <exclude expression="(.*)\.gz"></exclude>

       <exclude expression="^info/*"></exclude>

       <exclude expression="^static/*"></exclude>

   </filter>

   <inotify>

   # 设置要监控的事件

       <delete start="true"/>

       <createFolder start="true"/>

       <createFile start="true"/>

       <closeWrite start="true"/>

       <moveFrom start="true"/>

       <moveTo start="true"/>

       <attrib start="true"/>

       <modify start="true"/>

</inotify>

   <sersync>

   # 本地同步的目录路径

       <localpath watch="/data">

   # 远程IP和rsync模块名  

           <remote ip="192.168.100.29" name="data"/>  

           <!--<remote ip="192.168.8.39" name="tongbu"/>-->

           <!--<remote ip="192.168.8.40" name="tongbu"/>-->

       </localpath>

       <rsync>

   # rsync指令参数

           <commonParams params="-auvzP"/>

   # rsync同步认证

           <auth start="true" users="user" passwordfile="/etc/rsync.pas"/>

   # 设置rsync远程服务端口，远程非默认端口则需打开自定义(若开启rsync+ssh, 则这里需定义SSH端口)

           <userDefinedPort start="false" port="874"/><!-- port=874 -->

   # 设置超时时间

           <timeout start="true" time="100"/><!-- timeout=100 -->

   # 设置rsync+ssh加密传输模式,默认关闭，开启需设置SSH加密证书

           <ssh start="false"/>

       </rsync>

    # sersync传输失败日志脚本路径，每隔60会重新执行该脚本，执行完毕会自动清空。

       <failLog path="/usr/local/sersync/log/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->

    # 设置rsync+crontab定时传输，默认关闭

       <crontab start="false" schedule="600"><!--600mins-->

           <crontabfilter start="false">

               <exclude expression="*.php"></exclude>

               <exclude expression="info/*"></exclude>

           </crontabfilter>

       </crontab>

   # 设置sersync传输后调用name指定的插件脚本，默认关闭

       <plugin start="false" name="command"/>

   </sersync>

   # 插件脚本范例

   <plugin name="command">

       <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->

       <filter start="false">

           <include expression="(.*)\.php"/>

           <include expression="(.*)\.sh"/>

       </filter>

   </plugin>

   # 插件脚本范例

   <plugin name="socket">

       <localpath watch="/opt/tongbu">

           <deshost ip="192.168.138.20" port="8009"/>

       </localpath>

   </plugin>

   <plugin name="refreshCDN">

       <localpath watch="/data0/htdocs/cms.xoyo.com/site/">

           <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>

           <sendurl base="http://pic.xoyo.com/cms"/>

           <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>

       </localpath>

   </plugin>

</head>

-----------------------------

3.创建推送端sersync同步目录

# mkdir /data

4.设置环境变量：

# echo "export PATH=$PATH:/usr/local/sersync/bin/" >> /etc/profile

# source /etc/profile

5.启动sersync

# sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

注：重启操作如下：

# killall sersync2 && sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml

6.设置开机启动

# echo "sersync2 -r -d -o /usr/local/sersync/conf/confxml.xml" >> /etc/rc.local

验证：

(推送端)

# cd /data

# touch 1 2 3 4 5

# echo "test sersync" > 1

(接收端)

# cd /data

# ls

--------------------

1  2  3  4  5

--------------------

# cat 1

--------------------

test sersync

--------------------

注：这里提一个细节，如果接收端服务器本地创建或修改/data同步目录下的文件，当服务端进行目录同步时则不会对接收端服务器本地创建或修改的文件产生影响。

-------------大功告成----------------