0
点赞
收藏
分享

微信扫一扫

sersync实时同步

M4Y 2022-05-21 阅读 52
htmlxmlvimLinux系统/运维

实时同步目的

  • 1.解决单点故障
  • 2.保证数据的一致性

sersync做实时同步的依赖

  • 1.rsync
  • 2.inotify

Inotify 是一个通知接口，用来监控文件系统的各种变化，如果文件存取，删除，移动。可以非常方便地实现文件
异动告警，增量备份，并针对目录或文件的变化及时作出响应。*rsync+inotify*可以实触发式实时同步增量备份
sersync官网：​​TP​​


要求

1.web01和web02可以上传图片
2.nfs用户数据每天凌晨1点做备份
3.校验数据的完整性
4.nfs用户数据实时同步到backup的/data/目录下，做nfs的备机
4.使用sersync实现

sersync实战

环境准备

主机名

Wanip

LanIP

角色

部署服务

web01

10.0.0.7

172.16.1.7

nfs客户端

httpd、php、nfs-utils

web02

10.0.0.8

172.16.1.8

nfs客户端

httpd、php、nfs-utils

nfs

10.0.0.31

172.16.1.31

rsync客户端、nfs服务端

nfs-utils、rsync、inotify-tools、sersync

backup

10.0.0.41

172.16.1.41

rsync客户端、nfs服务端(备机)

nfs-utils、rsync

部署客户端sersync

# 1.安装sersync的依赖 
[root@nfs ~]# yum install -y rsync inotify-tools

# 2.下载sersync到客户端（哪边需要推数据下哪里）
## 国内下载地址
[root@nfs ~]# wget http://test.driverzeng.com/other/sersync2.5.4_64bit_binary_stable_final.tar.gz

# 3.创建安装目录
[root@nfs ~]# mkdir /application

# 4.解压sersync
[root@nfs ~]# tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /application/

# 5.改名
[root@nfs ~]# mv /application/GNU-Linux-x86/ /application/sersync-2.5.4

# 6.修改配置文件
[root@nfs ~]# vim /application/sersync-2.5.4/confxml.xml 

inotifywait -mrq --format %w %f -e create,delete,attrib,close_write /data
（下面的其实就是上面的inotify的选项）
## 将下面内容都改成true
 <inotify>
        <delete start="true"/>
        <createFolder start="true"/>
        <createFile start="true"/>
        <closeWrite start="true"/>
        <moveFrom start="true"/>
        <moveTo start="true"/>
        <attrib start="true"/>
        <modify start="true"/>
    </inotify>
    
#  rsync -az --delete /data rsync_backup@172.16.1.41::data --password-file=a.pass   
##################对照这个脚本修改
    <sersync>
        <localpath watch="/data ">     ## watch="/data " 
            <remote ip="172.16.1.41" name="data"/> ##ip="172.16.1.41"    name="data"
            <!--<remote ip="192.168.8.39" name="tongbu"/>-->   #（注释，不用看）
            <!--<remote ip="192.168.8.40" name="tongbu"/>-->    #（注释，不用看）
        </localpath>
        <rsync>
            <commonParams params="-az --delete"/>  ## params="-az --delete"
            <auth start="true" users="rsync_backup" passwordfile="etc/rsync.pass"/>  ## 全改
            <userDefinedPort start="false" port="874"/><!-- port=874 -->
            <timeout start="false" time="100"/><!-- timeout=100 -->
            <ssh start="false"/>
        </rsync>
        <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
        <crontab start="false" schedule="600"><!--600mins-->
            <crontabfilter start="false">
                <exclude expression="*.php"></exclude>
                <exclude expression="info/*"></exclude>
            </crontabfilter>
        </crontab>
        <plugin start="false" name="command"/>
    </sersync>
------------------------------------------------------------------------
########################################################################
## <!-- 修改后的配置文件 -->
[root@nfs ~]# cat /application/sersync-2.5.4/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
   <exclude expression="(.*)\.svn"></exclude>
   <exclude expression="(.*)\.gz"></exclude>
   <exclude expression="^info/*"></exclude>
   <exclude expression="^static/*"></exclude>
    </filter>
    ##<!-- inotify监控动作配置 全部改成true -->
    <inotify>
   <delete start="true"/>
   <createFolder start="true"/>
   <createFile start="true"/>
   <closeWrite start="true"/>
   <moveFrom start="true"/>
   <moveTo start="true"/>
   <attrib start="true"/>
   <modify start="true"/>
    </inotify>

    <sersync>
   ##<!-- 监控目录，推送数据的目录 /data -->
   <localpath watch="/data">
       ###<!-- rsync服务端的IP地址：172.16.1.41 和 模块名：data -->
       <remote ip="172.16.1.41" name="data"/>
       <!--<remote ip="192.168.8.39" name="tongbu"/>-->
       <!--<remote ip="192.168.8.40" name="tongbu"/>-->
   </localpath>
   <rsync>
      ###<!-- rsync命令执行时的选项 -->
       <commonParams params="-az --delete"/>
       ###<!-- rsync命令认证，打开认证，rsync匿名用户，密码文件 -->
       <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.paswds"/>
       <userDefinedPort start="false" port="874"/><!-- port=874 -->
       <timeout start="false" time="100"/><!-- timeout=100 -->
       <ssh start="false"/>
   </rsync>
   <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
   <crontab start="false" schedule="600"><!--600mins-->
       <crontabfilter start="false">
      <exclude expression="*.php"></exclude>
      <exclude expression="info/*"></exclude>
       </crontabfilter>
   </crontab>
   <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
   <param prefix="/bin/sh" suffix="" ignoreError="true"/>   <!--prefix /opt/tongbu/mmm.sh suffix-->
   <filter start="false">
       <include expression="(.*)\.php"/>
       <include expression="(.*)\.sh"/>
   </filter>
    </plugin>

    <plugin name="socket">
   <localpath watch="/opt/tongbu">
       <deshost ip="192.168.138.20" port="8009"/>
   </localpath>
    </plugin>
    <plugin name="refreshCDN">
   <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
       <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
       <sendurl base="http://pic.xoyo.com/cms"/>
       <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
   </localpath>
    </plugin>
</head>

sersync实时同步_xml

# 7.创建密码文件
[root@nfs data]# echo '123456' > /etc/rsync.pass

# 8.授权密码文件
[root@nfs data]# chmod 600 /etc/rsync.pass

# 9.启动sersync
[root@nfs sersync-2.5.4]# /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml

sersync命令

[root@nfs sersync-2.5.4]# ./sersync2 -h
set the system param
execute：echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute：echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前，将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量，默认为10个
参数-o:指定配置文件，默认使用confxml.xml文件
参数-m:单独启用其他模块，使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块，使用 -m socket 开启socket模块
参数-m:单独启用其他模块，使用 -m http 开启http模块
不加-m参数，则默认执行同步程序
________________________________________________________________

部署rsync

## 部署rsync服务端
# 1.关闭防火墙，关闭selinux，时间同步

# 1.安装rsync
[root@backup ~]# yum install -y rsync

# 2.修改rsync的配置文件
[root@backup ~]# vim /etc/rsyncd.conf
uid = www
gid = www
port = 873
fake super = yes
use chroot = no
max connections = 200
timeout = 600
ignore errors
read only = false
list = false
auth users = rsync_backup
secrets file = /etc/rsync.passwd
log file = /var/log/rsyncd.log
################################
[backup]
comment = welcome to oldboyedu backup!
path = /backup

[data]   (模块名)
comment = welcome to oldboyedu backup!
path = /data    （目录名）


# 3.创建www用户和组
[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.创建密码文件
[root@backup ~]# vim /etc/rsync.passwd
rsync_backup:123456

# 5.授权密码文件
[root@backup ~]# chmod 600 /etc/rsync.passwd

# 6.创建备份目录和实时同步目录
[root@backup ~]# mkdir /{backup,data}

# 7.授权备份目录和实时同步目录
[root@backup ~]# chown www.www /{backup,data}
[root@backup ~]# ll /backup/ /data/ -d
drwxr-xr-x 2 www www 6 May 20 10:23 /backup/
drwxr-xr-x 2 www www 6 May 20 10:23 /data/

# 8.启动rsync并加入开机自启
[root@backup ~]# systemctl start rsyncd
[root@backup ~]# systemctl enable rsyncd

# 9.检查进程和端口
[root@backup ~]# ps -ef|grep [r]sync
root        549      1  0 14:49 ?        00:00:00 /usr/bin/rsync --daemon --no-detach

[root@backup ~]# netstat -lntup|grep 873
tcp        0      0 0.0.0.0:873             0.0.0.0:*               LISTEN      549/rsync           
tcp6       0      0 :::873                  :::*                    LISTEN      549/rsync

部署nfs

## 部署nfs服务端
# 1.安装nfs服务
[root@nfs ~]# yum install -y nfs-utils
[root@backup ~]# yum install -y nfs-utils

# 2.修改nfs配置文件
[root@nfs ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)

[root@backup ~]# vim /etc/exports
/data 172.16.1.0/24(rw,sync,anonuid=666,anongid=666,all_squash)

# 3.创建www用户和组
[root@nfs ~]# groupadd www -g 666
[root@nfs ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@backup ~]# groupadd www -g 666
[root@backup ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.创建共享目录
[root@nfs ~]# mkdir /data
[root@backup ~]# mkdir /data

# 5.授权共享目录
[root@nfs ~]# chown www.www /data/
[root@backup ~]# chown www.www /data/

# 6.启动nfs服务并加入开机自启
[root@nfs ~]# systemctl start nfs
[root@nfs ~]# systemctl enable nfs

[root@backup ~]# systemctl start nfs
[root@backup ~]# systemctl enable nfs

# 7.检查配置是否生效
[root@nfs ~]# cat /var/lib/nfs/etab
[root@backup ~]# cat /var/lib/nfs/etab

# 8.检查进程和端口
[root@nfs ~]# ps -ef|grep [n]fs
[root@nfs ~]# netstat -lntup

部署nfs客户端

# 1.安装nfs客户端
[root@web01 ~]# yum install -y nfs-utils
[root@web02 ~]# yum install -y nfs-utils

# 2.查看挂载点
[root@web01 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web01 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24

[root@web02 ~]# showmount -e 172.16.1.31
Export list for 172.16.1.31:
/data 172.16.1.0/24
[root@web02 ~]# showmount -e 172.16.1.41
Export list for 172.16.1.41:
/data 172.16.1.0/24

# 3.测试挂载
[root@web01 ~]# mount -t nfs 172.16.1.31:/data /mnt
[root@web01 ~]# mount -t nfs 172.16.1.41:/data /media/

[root@web01 ~]# df -h
172.16.1.31:/data   19G  1.7G   17G   9% /mnt
172.16.1.41:/data   19G  1.7G   17G   9% /media


# 4.测试创建文件
[root@web01 ~]# touch /mnt/1.txt
[root@web01 ~]# ll /mnt/
total 0
-rw-r--r-- 1 666 666 0 May 20 10:51 1.txt
[root@web01 ~]# touch /media/1.txt
[root@web01 ~]# ll /media/
total 0
-rw-r--r-- 1 666 666 0 May 20 10:51 1.txt

部署web网站

# 1.安装httpd和php
[root@web01 ~]# yum install -y httpd php
[root@web02 ~]# yum install -y httpd php

# 2.修改httpd的配置文件
[root@web01 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www

[root@web02 ~]# vim /etc/httpd/conf/httpd.conf
User www
Group www

# 3.创建www用户和组
[root@web01 ~]# groupadd www -g 666
[root@web01 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

[root@web02 ~]# groupadd www -g 666
[root@web02 ~]# useradd www -u 666 -g 666 -s /sbin/nologin -M

# 4.部署代码
[root@web01 ~]# cd /var/www/html/
[root@web01 html]# unzip kaoshi_modify.zip

[root@web02 ~]# cd /var/www/html/
[root@web02 html]# unzip kaoshi_modify.zip

# 5.创建用户上传目录
[root@web01 html]# mkdir /var/www/html/user_data
[root@web02 html]# mkdir /var/www/html/user_data

# 6.授权用户上传数据目录
[root@web01 html]# chown www.www /var/www/html/user_data
[root@web02 html]# chown www.www /var/www/html/user_data

# 7.启动httpd服务
[root@web01 html]# systemctl start httpd
[root@web01 html]# systemctl enable httpd

[root@web02 html]# systemctl start httpd
[root@web02 html]# systemctl enable httpd

# 8.检查进程和端口
[root@web01 ~]# ps -ef|grep [h]ttpd
[root@web01 ~]# netstat -lntup

# 9.浏览器访问
http://10.0.0.7/
http://10.0.0.8/

# 10.挂载用户上传数据目录
[root@web01 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data
[root@web02 html]# mount -t nfs 172.16.1.31:/data /var/www/html/user_data

实时同步

# 1.启动sersync
/application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml

# 2.进行上传图片测试

# 3.检查测试结果
[root@web01 html]# ll /var/www/html/user_data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg
[root@web02 html]# ll /var/www/html/user_data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg

[root@nfs ~]# ll /data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg [root@backup ~]# ll /data/
total 184
-rw-r--r-- 1 www www 186520 May 20 11:10 33_pikachu.jpg

每日备份

## 1.编写客户端备份脚本
[root@nfs ~]# vim backup.sh
#!/bin/bash
bak_dir="/client_backup"
data_dir="/data"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`
export RSYNC_PASSWORD=123456

# 1.创建客户端的备份目录
mkdir -p $bak_dir
# 2.进入备份目录，压缩备份文件
cd $data_dir && \
tar zcf $bak_dir/${host_name}_${ip}_${date_time}.tar.gz .
# 3.生成校验文件
cd $bak_dir && \
md5sum ${host_name}_${ip}_${date_time}.tar.gz > ${host_name}_${ip}_${date_time}.md5
# 4.推送数据到rsync服务端
rsync -az $bak_dir/ rsync_backup@172.16.1.41::backup
# 5.保留7天内的文件
find $bak_dir -type f ! -mtime -7|xargs rm -f

## 2.先配置邮箱
[root@backup ~]# yum install -y mailx

[root@backup ~]# vim /etc/mail.rc
set from=17xxxx351@qq.com
set smtp=smtps://smtp.qq.com:465
set smtp-auth-user=17xxxx51@qq.com
set smtp-auth-password=jdzwrkmbiwjrcccj
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

## 3.编写服务端脚本
[root@backup ~]# vim check_md5.sh
#!/bin/bash
bak_dir="/backup"
host_name=`hostname`
ip=`/usr/sbin/ifconfig eth1|awk 'NR==2{print $2}'`
date_time=`date +%F`

cd $bak_dir && \
md5sum -c *${date_time}.md5|mail -s "${date_time}_数据备份校验" 778xxxx69@qq.com >/dev/null

find $bak_dir -type f ! -mtime -180|xargs rm -f

## 4.编写定时任务
[root@nfs ~]# crontab -e
00 01 * * * /application/sersync-2.5.4/sersync2 -rdo /application/sersync-2.5.4/confxml.xml &>/dev/null

[root@backup ~]# crontab -e
01 01 * * * /bin/sh /root/check_md5.sh &>/dev/null
举报

相关推荐

rsync+sersync实时同步数据

ssh服务器安全

rsync+sersync文件实时同步

服务器数据源MySQL数据库

Rsync + Sersync 实时数据同步方案

bashxml服务器数据同步Rsync Daemon运维

配置sersync/lsync实现实时同步

Linux

sersync 实现实时数据同步

sersync类似inotifysersync 实现实时数据同步sersyncinotifyrsyncLinux系统/运维

Linux文件实时同步方案 sersync and lsyncd

xml实时同步服务器

linux架构day05：sersync实时同步

xml服务端实时同步运维

Sersync+Rsync 实现数据文件实时同步

xmlhtml数据同步sersyncrsync云服务云计算在51CTO的第一篇博文

sersync - 数据同步神器

开发手记程序员程序猿的进阶屋大数据运维及安全运维驿站python自...

（服务运维）数据的实时同步rsync+sersync技术

实时同步数据同步Linux系统/运维
0 条评论