0
点赞
收藏
分享

微信扫一扫

sersync实时同步

M4Y 2022-05-21 阅读 50

实时同步目的

  • 1.解决单点故障
  • 2.保证数据的一致性

sersync做实时同步的依赖

  • 1.rsync
  • 2.inotify

Inotify 是一个通知接口,用来监控文件系统的各种变化,如果文件存取,删除,移动。可以非常方便地实现文件
异动告警,增量备份,并针对目录或文件的变化及时作出响应。*rsync+inotify*可以实触发式实时同步增量备份
sersync官网:​​TP​​


要求

1.web01和web02可以上传图片
2.nfs用户数据每天凌晨1点做备份
3.校验数据的完整性
4.nfs用户数据实时同步到backup的/data/目录下,做nfs的备机
4.使用sersync实现

sersync实战

环境准备

主机名

Wanip

LanIP

角色

部署服务

web01

10.0.0.7

172.16.1.7

nfs客户端

httpd、php、nfs-utils

web02

10.0.0.8

172.16.1.8

nfs客户端

httpd、php、nfs-utils

nfs

10.0.0.31

172.16.1.31

rsync客户端、nfs服务端

nfs-utils、rsync、inotify-tools、sersync

backup

10.0.0.41

172.16.1.41

rsync客户端、nfs服务端(备机)

nfs-utils、rsync

部署客户端sersync

# 1.安装sersync的依赖 
[root@nfs ~]# yum install -y rsync inotify-tools

# 2.下载sersync到客户端(哪边需要推数据下哪里)
## 国内下载地址
[root@nfs ~]# wget http://test.driverzeng.com/other/sersync2.5.4_64bit_binary_stable_final.tar.gz

# 3.创建安装目录
[root@nfs ~]# mkdir /application

# 4.解压sersync
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /application/

# 5.改名
[root@nfs ~]# mv /application/GNU-Linux-x86/ /application/sersync-2.5.4

# 6.修改配置文件
[root@nfs ~]# vim /application/sersync-2.5.4/confxml.xml

inotifywait -mrq --format %w %f -e create,delete,attrib,close_write /data
(下面的其实就是上面的inotify的选项)
## 将下面内容都改成true
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>

# rsync -az --delete /data rsync_backup@172.16.1.41::data --password-file=a.pass
##################对照这个脚本修改
<sersync>
<localpath watch="/data "> ## watch="/data "
<remote ip="172.16.1.41" name="data"/> ##ip="172.16.1.41" name="data"
<!--<remote ip="192.168.8.39" name="tongbu"/>--> #(注释,不用看)
<!--<remote ip="192.168.8.40" name="tongbu"/>--> #(注释,不用看)
</localpath>
<rsync>
<commonParams params="-az --delete"/> ## params="-az --delete"
<auth start="true" users="rsync_backup" passwordfile="etc/rsync.pass"/> ## 全改
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>
------------------------------------------------------------------------
########################################################################
## <!-- 修改后的配置文件 -->
[root@nfs ~]# cat /application/sersync-2.5.4/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<host hostip="localhost" port="8008"></host>
<debug start="false"/>
<fileSystem xfs="false"/>
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter>
##<!-- inotify监控动作配置 全部改成true -->
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="true"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="true"/>
<modify start="true"/>
</inotify>

<sersync>
##<!-- 监控目录,推送数据的目录 /data -->
<localpath watch="/data">
###<!-- rsync服务端的IP地址:172.16.1.41 和 模块名:data -->
<remote ip="172.16.1.41" name="data"/>
<!--<remote ip="192.168.8.39" name="tongbu"/>-->
<!--<remote ip="192.168.8.40" name="tongbu"/>-->
</localpath>
<rsync>
###<!-- rsync命令执行时的选项 -->
<commonParams params="-az --delete"/>
###<!-- rsync命令认证,打开认证,rsync匿名用户,密码文件 -->
<auth start="true" users="rsync_backup" passwordfile="/etc/rsync.paswds"/>
<userDefinedPort start="false" port="874"/><!-- port=874 -->
<timeout start="false" time="100"/><!-- timeout=100 -->
<ssh start="false"/>
</rsync>
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
<crontab start="false" schedule="600"><!--600mins-->
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab>
<plugin start="false" name="command"/>
</sersync>

<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin>

<plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin>
<plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
</head>

 sersync实时同步_xml

# 7.创建密码文件
[root@nfs data]# echo '123456' > /etc/rsync.pass

# 8.授权密码文件
[root@nfs data]# chmod 600 /etc/rsync.pass

# 9.启动sersync
[root@nfs sersync-2.5.4]# /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml

sersync命令

[root@nfs sersync-2.5.4]# ./sersync2 -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序
________________________________________________________________

部署rsync

## 部署rsync服务端
# 1.关闭防火墙,关闭selinux,时间同步

# 1.安装rsync
[root@backup ~]# yum install -y rsync

# 2.修改rsync的配置文件
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

[data] (模块名)
comment = welcome to oldboyedu backup!
path = /data (目录名)


# 3.创建www用户和组
[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.创建密码文件
[root@backup ~]# vim /etc/rsync.passwd
rsync_backup:123456

# 5.授权密码文件
[root@backup ~]# chmod 600 /etc/rsync.passwd

# 6.创建备份目录和实时同步目录
[root@backup ~]# mkdir /{backup,data}

# 7.授权备份目录和实时同步目录
[root@backup ~]# chown www.www /{backup,data}
[root@backup ~]# ll /backup/ /data/ -d
drwxr-xr-x 2 www www 6 May 20 10:23 /backup/
drwxr-xr-x 2 www www 6 May 20 10:23 /data/

# 8.启动rsync并加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

# 9.检查进程和端口
[root@backup ~]# ps -ef|grep [r]sync
root 549 1 0 14:49 ? 00:00:00 /usr/bin/rsync --daemon --no-detach

[root@backup ~]# netstat -lntup|grep 873
tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 549/rsync
tcp6 0 0 :::873 :::* LISTEN 549/rsync

部署nfs

## 部署nfs服务端
# 1.安装nfs服务
[root@nfs ~]# yum install -y nfs-utils
[root@backup ~]# yum install -y nfs-utils

# 2.修改nfs配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)

[root@backup ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)

# 3.创建www用户和组
[root@nfs ~]# groupadd www -g 666
[root@nfs ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.创建共享目录
[root@nfs ~]# mkdir /data
[root@backup ~]# mkdir /data

# 5.授权共享目录
[root@nfs ~]# chown www.www /data/
[root@backup ~]# chown www.www /data/

# 6.启动nfs服务并加入开机自启
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl enable nfs

[root@backup ~]# systemctl start nfs
[root@backup ~]# systemctl enable nfs

# 7.检查配置是否生效
[root@nfs ~]# cat /var/lib/nfs/etab
[root@backup ~]# cat /var/lib/nfs/etab

# 8.检查进程和端口
[root@nfs ~]# ps -ef|grep [n]fs
[root@nfs ~]# netstat -lntup

部署nfs客户端

# 1.安装nfs客户端
[root@web01 ~]# yum install -y nfs-utils
[root@web02 ~]# yum install -y nfs-utils

# 2.查看挂载点
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24

[root@web02 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web02 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24

# 3.测试挂载
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# mount -t nfs 172.16.1.41:/data /media/

[root@web01 ~]# df -h
172.16.1.31:/data 19G 1.7G 17G 9% /mnt
172.16.1.41:/data 19G 1.7G 17G 9% /media


# 4.测试创建文件
[root@web01 ~]# touch /mnt/1.txt
[root@web01 ~]# ll /mnt/
total 0
-rw-r--r-- 1 666 666 0 May 20 10:51 1.txt
[root@web01 ~]# touch /media/1.txt
[root@web01 ~]# ll /media/
total 0
-rw-r--r-- 1 666 666 0 May 20 10:51 1.txt

部署web网站

# 1.安装httpd和php
[root@web01 ~]# yum install -y httpd php
[root@web02 ~]# yum install -y httpd php

# 2.修改httpd的配置文件
[root@web01 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www

[root@web02 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www

# 3.创建www用户和组
[root@web01 ~]# groupadd www -g 666
[root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@web02 ~]# groupadd www -g 666
[root@web02 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.部署代码
[root@web01 ~]# cd /var/www/html/
[root@web01 html]# unzip kaoshi_modify.zip

[root@web02 ~]# cd /var/www/html/
[root@web02 html]# unzip kaoshi_modify.zip

# 5.创建用户上传目录
[root@web01 html]# mkdir /var/www/html/user_data
[root@web02 html]# mkdir /var/www/html/user_data

# 6.授权用户上传数据目录
[root@web01 html]# chown www.www /var/www/html/user_data
[root@web02 html]# chown www.www /var/www/html/user_data

# 7.启动httpd服务
[root@web01 html]# systemctl start httpd
[root@web01 html]# systemctl enable httpd

[root@web02 html]# systemctl start httpd
[root@web02 html]# systemctl enable httpd

# 8.检查进程和端口
[root@web01 ~]# ps -ef|grep [h]ttpd
[root@web01 ~]# netstat -lntup

# 9.浏览器访问
http://10.0.0.7/
http://10.0.0.8/

# 10.挂载用户上传数据目录
[root@web01 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data
[root@web02 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data

实时同步

# 1.启动sersync
/application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml

# 2.进行上传图片测试

# 3.检查测试结果
[root@web01 html]# ll /var/www/html/user_data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg
[root@web02 html]# ll /var/www/html/user_data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg

[root@nfs ~]# ll /data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg [root@backup ~]# ll /data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg

每日备份

## 1.编写客户端备份脚本
[root@nfs ~]# vim backup.sh
#!/bin/bash
bak_dir="/client_backup"
data_dir="/data"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`
export RSYNC_PASSWORD=123456

# 1.创建客户端的备份目录
mkdir -p $bak_dir
# 2.进入备份目录,压缩备份文件
cd $data_dir && \
tar zcf $bak_dir/${host_name}_${ip}_${date_time}.tar.gz .
# 3.生成校验文件
cd $bak_dir && \
md5sum ${host_name}_${ip}_${date_time}.tar.gz > ${host_name}_${ip}_${date_time}.md5
# 4.推送数据到rsync服务端
rsync -az $bak_dir/ rsync_backup@172.16.1.41::backup
# 5.保留7天内的文件
find $bak_dir -type f ! -mtime -7|xargs rm -f

## 2.先配置邮箱
[root@backup ~]# yum install -y mailx

[root@backup ~]# vim /etc/mail.rc
set from=17xxxx351@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=17xxxx51@qq.com
set smtp-auth-password=jdzwrkmbiwjrcccj
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

## 3.编写服务端脚本
[root@backup ~]# vim check_md5.sh
#!/bin/bash
bak_dir="/backup"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`

cd $bak_dir && \
md5sum -c *${date_time}.md5|mail -s "${date_time}_数据备份校验" 778xxxx69@qq.com >/dev/null

find $bak_dir -type f ! -mtime -180|xargs rm -f

## 4.编写定时任务
[root@nfs ~]# crontab -e
00 01 * * * /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml &>/dev/null

[root@backup ~]# crontab -e
01 01 * * * /bin/sh /root/check_md5.sh &>/dev/null
举报

相关推荐

0 条评论