实时同步目的
- 1.解决单点故障
- 2.保证数据的一致性
sersync做实时同步的依赖
- 1.rsync
- 2.inotify
Inotify 是一个通知接口,用来监控文件系统的各种变化,如果文件存取,删除,移动。可以非常方便地实现文件
异动告警,增量备份,并针对目录或文件的变化及时作出响应。*rsync+inotify*可以实触发式实时同步增量备份
sersync官网:TP
要求
1.web01和web02可以上传图片
2.nfs用户数据每天凌晨1点做备份
3.校验数据的完整性
4.nfs用户数据实时同步到backup的/data/目录下,做nfs的备机
4.使用sersync实现
sersync实战
环境准备
主机名 | Wanip | LanIP | 角色 | 部署服务 |
web01 | 10.0.0.7 | 172.16.1.7 | nfs客户端 | httpd、php、nfs-utils |
web02 | 10.0.0.8 | 172.16.1.8 | nfs客户端 | httpd、php、nfs-utils |
nfs | 10.0.0.31 | 172.16.1.31 | rsync客户端、nfs服务端 | nfs-utils、rsync、inotify-tools、sersync |
backup | 10.0.0.41 | 172.16.1.41 | rsync客户端、nfs服务端(备机) | nfs-utils、rsync |
部署客户端sersync
# 1.安装sersync的依赖
[root@nfs ~]# yum install -y rsync inotify-tools
# 2.下载sersync到客户端(哪边需要推数据下哪里)
## 国内下载地址
[root@nfs ~]# wget http://test.driverzeng.com/other/sersync2.5.4_64bit_binary_stable_final.tar.gz
# 3.创建安装目录
[root@nfs ~]# mkdir /application
# 4.解压sersync
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /application/
# 5.改名
[root@nfs ~]# mv /application/GNU-Linux-x86/ /application/sersync-2.5.4
# 6.修改配置文件
[root@nfs ~]# vim /application/sersync-2.5.4/confxml.xml
inotifywait -mrq --format %w %f -e create,delete,attrib,close_write /data
(下面的其实就是上面的inotify的选项)
## 将下面内容都改成true
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>
# rsync -az --delete /data rsync_backup@172.16.1.41::data --password-file=a.pass
##################对照这个脚本修改
<sersync>
<localpath watch="/data "> ## watch="/data "
<remote ip="172.16.1.41" name="data"/> ##ip="172.16.1.41" name="data"
<!--<remote ip="192.168.8.39" name="tongbu"/>--> #(注释,不用看)
<!--<remote ip="192.168.8.40" name="tongbu"/>--> #(注释,不用看)
</localpath>
<rsync>
<commonParams params="-az --delete"/> ## params="-az --delete"
<auth start="true" users="rsync_backup" passwordfile="etc/rsync.pass"/> ## 全改
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
------------------------------------------------------------------------
########################################################################
## <!-- 修改后的配置文件 -->
[root@nfs ~]# cat /application/sersync-2.5.4/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
##<!-- inotify监控动作配置 全部改成true -->
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>
<sersync>
##<!-- 监控目录,推送数据的目录 /data -->
<localpath watch="/data">
###<!-- rsync服务端的IP地址:172.16.1.41 和 模块名:data -->
<remote ip="172.16.1.41" name="data"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
###<!-- rsync命令执行时的选项 -->
<commonParams params="-az --delete"/>
###<!-- rsync命令认证,打开认证,rsync匿名用户,密码文件 -->
<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.paswds"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>
<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>
# 7.创建密码文件
[root@nfs data]# echo '123456' > /etc/rsync.pass
# 8.授权密码文件
[root@nfs data]# chmod 600 /etc/rsync.pass
# 9.启动sersync
[root@nfs sersync-2.5.4]# /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml
sersync命令
[root@nfs sersync-2.5.4]# ./sersync2 -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序
________________________________________________________________
部署rsync
## 部署rsync服务端
# 1.关闭防火墙,关闭selinux,时间同步
# 1.安装rsync
[root@backup ~]# yum install -y rsync
# 2.修改rsync的配置文件
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup
[data] (模块名)
comment = welcome to oldboyedu backup!
path = /data (目录名)
# 3.创建www用户和组
[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
# 4.创建密码文件
[root@backup ~]# vim /etc/rsync.passwd
rsync_backup:123456
# 5.授权密码文件
[root@backup ~]# chmod 600 /etc/rsync.passwd
# 6.创建备份目录和实时同步目录
[root@backup ~]# mkdir /{backup,data}
# 7.授权备份目录和实时同步目录
[root@backup ~]# chown www.www /{backup,data}
[root@backup ~]# ll /backup/ /data/ -d
drwxr-xr-x 2 www www 6 May 20 10:23 /backup/
drwxr-xr-x 2 www www 6 May 20 10:23 /data/
# 8.启动rsync并加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd
# 9.检查进程和端口
[root@backup ~]# ps -ef|grep [r]sync
root 549 1 0 14:49 ? 00:00:00 /usr/bin/rsync --daemon --no-detach
[root@backup ~]# netstat -lntup|grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 549/rsync
tcp6 0 0 :::873 :::* LISTEN 549/rsync
部署nfs
## 部署nfs服务端
# 1.安装nfs服务
[root@nfs ~]# yum install -y nfs-utils
[root@backup ~]# yum install -y nfs-utils
# 2.修改nfs配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)
[root@backup ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)
# 3.创建www用户和组
[root@nfs ~]# groupadd www -g 666
[root@nfs ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
# 4.创建共享目录
[root@nfs ~]# mkdir /data
[root@backup ~]# mkdir /data
# 5.授权共享目录
[root@nfs ~]# chown www.www /data/
[root@backup ~]# chown www.www /data/
# 6.启动nfs服务并加入开机自启
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl enable nfs
[root@backup ~]# systemctl start nfs
[root@backup ~]# systemctl enable nfs
# 7.检查配置是否生效
[root@nfs ~]# cat /var/lib/nfs/etab
[root@backup ~]# cat /var/lib/nfs/etab
# 8.检查进程和端口
[root@nfs ~]# ps -ef|grep [n]fs
[root@nfs ~]# netstat -lntup
部署nfs客户端
# 1.安装nfs客户端
[root@web01 ~]# yum install -y nfs-utils
[root@web02 ~]# yum install -y nfs-utils
# 2.查看挂载点
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24
[root@web02 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web02 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24
# 3.测试挂载
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# mount -t nfs 172.16.1.41:/data /media/
[root@web01 ~]# df -h
172.16.1.31:/data 19G 1.7G 17G 9% /mnt
172.16.1.41:/data 19G 1.7G 17G 9% /media
# 4.测试创建文件
[root@web01 ~]# touch /mnt/1.txt
[root@web01 ~]# ll /mnt/
total 0
-rw-r--r-- 1 666 666 0 May 20 10:51 1.txt
[root@web01 ~]# touch /media/1.txt
[root@web01 ~]# ll /media/
total 0
-rw-r--r-- 1 666 666 0 May 20 10:51 1.txt
部署web网站
# 1.安装httpd和php
[root@web01 ~]# yum install -y httpd php
[root@web02 ~]# yum install -y httpd php
# 2.修改httpd的配置文件
[root@web01 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www
[root@web02 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www
# 3.创建www用户和组
[root@web01 ~]# groupadd www -g 666
[root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
[root@web02 ~]# groupadd www -g 666
[root@web02 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M
# 4.部署代码
[root@web01 ~]# cd /var/www/html/
[root@web01 html]# unzip kaoshi_modify.zip
[root@web02 ~]# cd /var/www/html/
[root@web02 html]# unzip kaoshi_modify.zip
# 5.创建用户上传目录
[root@web01 html]# mkdir /var/www/html/user_data
[root@web02 html]# mkdir /var/www/html/user_data
# 6.授权用户上传数据目录
[root@web01 html]# chown www.www /var/www/html/user_data
[root@web02 html]# chown www.www /var/www/html/user_data
# 7.启动httpd服务
[root@web01 html]# systemctl start httpd
[root@web01 html]# systemctl enable httpd
[root@web02 html]# systemctl start httpd
[root@web02 html]# systemctl enable httpd
# 8.检查进程和端口
[root@web01 ~]# ps -ef|grep [h]ttpd
[root@web01 ~]# netstat -lntup
# 9.浏览器访问
http://10.0.0.7/
http://10.0.0.8/
# 10.挂载用户上传数据目录
[root@web01 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data
[root@web02 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data
实时同步
# 1.启动sersync
/application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml
# 2.进行上传图片测试
# 3.检查测试结果
[root@web01 html]# ll /var/www/html/user_data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg
[root@web02 html]# ll /var/www/html/user_data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg
[root@nfs ~]# ll /data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg [root@backup ~]# ll /data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg
每日备份
## 1.编写客户端备份脚本
[root@nfs ~]# vim backup.sh
bak_dir="/client_backup"
data_dir="/data"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`
export RSYNC_PASSWORD=123456
# 1.创建客户端的备份目录
mkdir -p $bak_dir
# 2.进入备份目录,压缩备份文件
cd $data_dir && \
tar zcf $bak_dir/${host_name}_${ip}_${date_time}.tar.gz .
# 3.生成校验文件
cd $bak_dir && \
md5sum ${host_name}_${ip}_${date_time}.tar.gz > ${host_name}_${ip}_${date_time}.md5
# 4.推送数据到rsync服务端
rsync -az $bak_dir/ rsync_backup@172.16.1.41::backup
# 5.保留7天内的文件
find $bak_dir -type f ! -mtime -7|xargs rm -f
## 2.先配置邮箱
[root@backup ~]# yum install -y mailx
[root@backup ~]# vim /etc/mail.rc
set from=17xxxx351@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=17xxxx51@qq.com
set smtp-auth-password=jdzwrkmbiwjrcccj
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/
## 3.编写服务端脚本
[root@backup ~]# vim check_md5.sh
bak_dir="/backup"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`
cd $bak_dir && \
md5sum -c *${date_time}.md5|mail -s "${date_time}_数据备份校验" 778xxxx69@qq.com >/dev/null
find $bak_dir -type f ! -mtime -180|xargs rm -f
## 4.编写定时任务
[root@nfs ~]# crontab -e
00 01 * * * /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml &>/dev/null
[root@backup ~]# crontab -e
01 01 * * * /bin/sh /root/check_md5.sh &>/dev/null