网络文件共享服务NFS及使用Rsync实现数据同步

网络文件共享服务

存储类型

单机存储：
一：直连式存储：简称DAS，基于块机制，在本地通过很短的数据线连接，空间磁盘控制由本机完成
块设备使用步骤：
①利用MBR或GPT技术进行分区 硬盘超过2T选择GPT技术
②创建文件系统（格式化），xfs或者ext4
③挂载到文件夹

跨网络存储
二：存储区域网络：简称SAN，由远程设备提供存储空间，使用起来和DAS一样。   

三：网络附加存储：简称NAS，本机作为客户端只使用远程存储，不对存储进行管理，看不到块设备，以文件方式来操纵。如网盘

四：对象存储-OSS

NFS服务（网络文件系统）

基于内核的文件系统
查看内核编译时加载进去的特性：ls /boot/config-5.4.0-124-generic    
查询NFS特性：grep -i nfs /boot/config-5.4.0-124-generic
m表示模块方式提供，没有打到内核文件中去   y表示直接打入内核文件vmlinuz中去了
使用modeinfo nfs可查看模块文件存放路径，lsmod | grep nfs可查看是否启用此模块

NFS软件包安装

红帽系统
yum -y install nfs-utils 
systemctl enable --now nfs-server.service

Ubuntu系统
apt install -y nfs-kernel-server 服务端
apt install -y nfs-common        客户端

nfs的端口号不固定，需要依赖rpcbind的注册中心服务，通过注册中心服务来发现nfs

NFS共享配置文件格式（指定nfs服务端的哪些文件夹要共享出来，并配置权限和选项）

主机格式：

anonymous:表示使用*通配所有客户端
单个主机：ipv4，ipv6，FQDN
IP networks：两种掩码格式均支持
172.18.0.0/255.255.0.0 1
72.18.0.0/16 
wildcards：主机名通配，例如：*.magedu.com，IP不可以
netgroups：NIS域的主机组，@group_name

每个条目指定目录导出到的哪些主机,及相关的权限和选项

默认选项：(ro,sync,root_squash,no_all_squash) 
ro,rw 只读和读写 
async 异步,数据变化后不立即写磁盘,先写入到缓冲区中,过一段时间再写入磁盘,性能高,安全性低 
sync (1.0.0后为默认)同步,数据在请求时立即写入共享存储磁盘,性能低,安全性高 
root_squash (默认)远程root映射为nfsnobody,UID为65534,CentOS8为nobody,CentOS 7以前的版本为nfsnobody 
no_root_squash 远程root映射成NFS服务器的root用户 
all_squash 所有远程用户(包括root)都变成nfsnobody,CentOS8 为nobody 
no_all_squash (默认)保留共享文件的UID和GID 
anonuid和anongid 指明匿名用户映射为特定用户UID和组GID,而非nobody,可配合all_squash使用

实验案例：通过客户端nfs进行挂载，做到两台服务器共同提供共享服务，提升性能

第一台机器：10.0.0.100  nfs server
安装nfs服务：apt install nfs-kernel-server
创建文件夹，共享出去
mkdir /data/www -p
创建文件：touch /data/www/text
echo mengfanchao > /data/www/text
创建文件：touch /data/www/index.html
echo mengfanchao > /data/www/index.html


在nfs配置文件中指定共享文件夹以及共享的方式
vim /etc/exports
/data/www   *         #把/data/www共享出去，无论谁都可以共享

exportfs -r            #加载配置文件，使其生效
exportfs -v            #显示共享方式


第二台机器：10.0.0.8 nfs client
安装nfs服务：apt install -y nfs-common
查看远程主机共享的文件夹
showmount -e 10.0.0.100
Export list for 10.0.0.100:
/data/www   *                  

下载apache2，把服务端的index.html文件挂载到/var/www/html/目录下
apt -y install apache2

进行挂载：把第一台机器的/data/www 挂载到第二台机器的/var/www/html/目录下
mount 10.0.0.100:/data/www /var/www/html/
查看目录：ls /var/www/html/
text index.html

网页进行访问  10.0.0.8，展示数据来源于远程主机目录下的内容，不是本地内容
mengfanchao

增加第三台机器：10.0.0.18 nfs client
把第一台机器的/data/www 挂载到第三台机器的/var/www/html/目录下
安装nfs服务：apt install -y nfs-common
查看远程主机共享的文件夹
showmount -e 10.0.0.100
Export list for 10.0.0.100:
/data/www   * 

下载apache2，把服务端的index.html文件挂载到/var/www/html/目录下
apt -y install apache2

进行挂载：把第一台机器的/data/www 挂载到第二台机器的/var/www/html/目录下
mount 10.0.0.100:/data/www /var/www/html/
查看目录：ls /var/www/html/
text index.html

网页进行访问  10.0.0.18，展示数据来源于远程主机目录下的内容，不是本地内容
mengfanchao

实现远程主机在nfs服务端可写权限及用户权限

1、10.0.0.100 nfs server
在第一台主机更改nfs配置文件 
vim /etc/exports
/data/www   *(rw)

exportfs -r进行重载

2、10.0.0.8 nfs client和10.0.0.18 nfs client
远程主机访问服务端nfs，其远程主机的root用户被压榨成普通用户nobody
apt -y install acl
给nobody赋予权限后，便可在第二台主机挂载目录下在执行写权限,如创建文件
setfacl -Rm u:nobody:rwx /data/www/
取消权限
setfacl -bR /data/www/

3、10.0.0.100 nfs server
远程主机访问服务端nfs，其远程主机的root用户可不被压榨成普通用户nobody，以root账号来执行操作
vim /etc/exports
/data/www   *(rw,no_root_squash)

exportfs -r进行重载

4、nfs服务端对于远程主机的普通用户来说不压榨,映射成nfs服务器id相同的用户账号，如果nfs服务端没有这个账号，只显示id号
如：在第一台机器修改权限 10.0.0.100 nfs server
chmod 777 /data/www
第二台机器：创建普通账号并创建文件  10.0.0.8 nfs client
useradd -u 6666 meng   #创建账号并指定id号
切换账号
su - meng
创建文件
touch meng.txt
查看
ll meng.txt 
-rw-rw-r-- 1 meng meng 0 Sep 7 10:42 meng.txt 

10.0.0.100 nfs server
在第一台机器nfs服务端查看，此主机没有meng账号，只以远程主机的id来显示
ll /data/www
-rw-rw-r-- 1 6666 6666 0 Sep 7 10:42 meng.txt 
如果此主机有对应id为6666的账号li，便会以li的账号来显示
useradd -u 6666 li
ll /data/www
-rw-rw-r-- 1 li li 0 Sep 7 10:42 meng.txt

不同NFS客户端在账号相同，账号id不同时导致权限有问题

解决办法：
1、在所有主机上创建账号时指定id  
2、10.0.0.100 nfs server
在nfs服务器上修改配置文件，无论是root或者普通用户全压榨，不压榨成nobody，压榨成指定的uid和gid
在第一台机器：
创建web组
groupadd -g 66 web
创建用户并指定组
useradd -g web -u 66 web
修改nfs服务端配置文件
vim /etc/exports
/data/www   *(rw,no_root_squash,all_squash,anonuid=66,anongid=66)
重载配置文件
exportfs -r

10.0.0.8 nfs client
在第二台机器挂载位置创建文件，此时文件在第二台主机因为没有web用户，直接被压榨成id号。在第一台主机nfs服务端查看此文件，被压榨成web账号
touch fanchao.txt
ll fanchao.txt
-rw-rw-r-- 1 66 66 0 Sep 7 10:51 fanchao.txt 

10.0.0.100 nfs server
第一台主机nfs服务端查看
ll fanchao.txt
-rw-rw-r-- 1 web web 0 Sep 7 10:51 fanchao.txt 

3、创建账号集中管理服务LDAP，所有的机器不用创建账号，连接时去LDAP服务中查取账号进行连接

nfs服务端允许指定网段进行文件共享

10.0.0.100 nfs server
第一台机器：
修改nfs服务端配置文件
vim /etc/exports
/data/www   10.0.0.0/24(rw,no_root_squash,all_squash,anonuid=66,anongid=66)
重载
exportfs -r

NFS客户端持久挂载

nfs客户端与nfs服务端的挂在关系为临时挂载，重启机器，挂载便会丢失，修改/etc/fstab文件以达到永久挂载

10.0.0.8 nfs client和10.0.0.18 nfs client
在nfs客户端修改/etc/fstab文件，添加永久挂载
10.0.0.100:/data/www        /var/www/html     nfs      _netdev    0 0
#使nfs服务端地址及文件夹与nfs客户端文件目录进行挂在   文件系统  无网络不挂载  

执行挂载
mount -a
df查看

NFS服务端数据同步机制

数据传输类型（pull和push）
服务端rsync主动推送（push）数据给客户端rsync，实时同步
客户端rsync去服务端rsync拉取（pull）数据，定时同步

定时同步：

把10.0.0.100机器上的/data/www/目录与10.0.0.101机器上的/data/backup/同步

1、10.0.0.101：
创建/data/backup
mkdir /data/backup -p

打通和10.0.0.100机器上的GUK验证
ssh-keygen  生成公钥私钥
把公钥复制到10.0.0.100
ssh-copy-id 10.0.0.100

2、拷贝10.0.0.100机器/data/www/目录下的文件到10.0.0.101机器上的/data/backup/目录下
rsync -a 10.0.0.100:/data/www/ /data/backup/     #-a 保留属性  增量变动，数据变就复制

3、创建计划任务
查看是否在/usr/bin/rsync路径下
which rsync

创建计划任务
crontab -e
* * * * *   rsync -a 10.0.0.100:/data/www/ /data/backup/ &> /dev/null    #每分钟备份一次
#0 * * * *   每小时备份一次

4、开启计划任务日志
vim /etc/rsyslog.d/50-default.conf
cron.*      /var/log/cron.log
重启rsyslog
systemctl restart rsyslog.service

5、查看日志
tail -f /var/log/cron.log

实时同步：内核组件inotify实现数据实时监控和rsync服务实现数据实时同步

grep -i inotify /boot/config-5.4.0-124-generic

此文件夹实现inotify的功能
ls -l /proc/sys/fs/inotify  
-rw-r--r-- 1 root root 0 Dec  7 10:10 max_queued_events 
-rw-r--r-- 1 root root 0 Dec  7 10:10 max_user_instances 
-rw-r--r-- 1 root root 0 Dec  6 05:54 max_user_watches

max_queued_events：通知事件队列最大长度，如值太小会出现事件队列溢出错误，默认值：16384，生产环境建议调大，比如：327679 
max_user_instances：每个用户创建inotify实例最大值，默认值：128 
max_user_watches：可以监视的文件的总数量（等待单进程），默认值：8192，建议调大

修改文件定义值：
vim /etc/sysctl.conf
fs.inotify.max_queued_events=66666 
fs.inotify.max_user_watches=100000

生效
sysctl -p

借助用户空间工具来使用内核的inotify inotify-tools工具

ubuntu安装
apt install inotify-tools

rocky安装
yum install inotify-tools

inotify-tools包主要工具：

inotifywait： 在被监控的文件或目录上等待特定文件系统事件(open ,close,delete等)发生, 常用于实时同步的目录监控 
inotifywatch：收集被监控的文件系统使用的统计数据,指文件系统事件发生的次数统计

常用选项

-m, --monitor 始终保持事件监听 
-d, --daemon 以守护进程方式执行,和-m相似,配合-o使用 
-r, --recursive 递归监控目录数据信息变化 
-q, --quiet 输出少量事件信息 
--exclude <pattern> 指定排除文件或目录,使用扩展的正则表达式匹配的模式实现 
--excludei <pattern> 和exclude相似,不区分大小写 -o, 
--outfile <file> 打印事件到文件中,相当于标准正确输出,注意：使用绝对路径 
-s, --syslogOutput 发送错误到syslog相当于标准错误输出 
--timefmt <fmt> 指定时间输出格式 
--format <fmt> 指定的输出格式；即实际监控输出内容 
-e 指定监听指定的事件,如果省略,表示所有事件都进行监听

利用工具持续进行监控

结合时间格式以及对格式的定义，持续监控10.0.0.100上面的/data/www/目录下的文件
inotifywait -m --timefmt "%Y-%m-%d %H:%M:%S" --format "%T %w%f event: %;e" /data/www/
再开启一个窗口，对文件增删改都会被监视到

利用rsync进行同步

rocky系统安装rsync客户端和服务端：yum -y install rsync rsync-daemon
ubuntu系统安装：yum -y install rsync
ubuntu安装rsync服务后，需手动创建配置文件，用于启动
touch /etc/rsyncd.conf
systemctl start rsync.service
查看状态：systemctl status rsync.service
查看端口号：ss -ntlp 873端口

rsync三种工作方式：
1. 本地文件系统上实现同步.命令行语法格式为上述"Local"段的格式. 
2. 本地主机使用远程shell和远程主机通信.命令行语法格式为上述"Access via remote shell"段的格式. 3. 本地主机通过网络套接字连接远程主机上的rsync daemon.命令行语法格式为上述"Access via rsync daemon"段的格式. 前两者的本质是通过本地或远程shell,而第3种方式则是让远程主机上运行rsyncd服务,使其监听在一 个端口上,等待客户端的连接.

在10.0.0.101机器上，修改rsync服务端配置文件

vim /etc/rsyncd.conf
[backup]
path = /data/backup/   #把/data/backup/文件夹共享出来
read only = no         #可读可写

重启服务
systemctl restart rsync.service

把10.0.0.100机器上的/etc/hosts 文件推到10.0.0.101机器上的/backup/目录中

rsync /etc/hosts rsync://10.0.0.101/backup

在10.0.0.101上查看推送过来的文件

ll /data/backup

完善10.0.0.101机器上的rsync服务端配置文件

vim /etc/rsyncd.conf
uid = root                #提定以哪个用户来访问共享目录,将之指定为生成的文件所有者,默认为nobody
gid = root                #默认为nobody, Ubuntu中为nogroup
max connections = 0       #设置最大并发连接数，0不限制
ignore errors             #忽略不太重要的错误
exclude = lost+found/     #排除不想要的文件夹
log file = /var/log/rsyncd.log   #生成的日志放在哪里
pid file = /var/run/rsyncd.pid   #pid文件放在哪里
lock file = /var/run/rsyncd.lock #锁文件放哪里
reverse lookup = no       #是否做反向解析
#hosts allow = 10.0.0.0/24#限制哪些网段可以进
[backup]                  #每个模块名对应一个不同的path目录,如果同名后面模块生效
path = /data/backup/  
comment = backup dir   
read only = no            #默认是yes，即只读
auth users = rsyncuser    #哪些账号可以访问rsync服务器
secrets file = /etc/rsync.pas  #用户名密码存放文件

服务端生成验证文件，创建/etc/rsync.pas文件，写清除用户和密码

echo "rsyncuser:mengfanchao" > /etc/rsync.pas
chmod 600 /etc/rsync.pas

重启配置文件生效

systemctl restart rsync.service

在10.0.0.100上连接10.0.0.101的rsync服务端，把文件推送上去，需要借助账号和密码进行连接,保留文件的所属主，所属组

rsync /etc/shadow rsync://rsyncuser@10.0.0.101/backup
Password:mengfanchao

在10.0.0.101上查看/backup/目录
ll /data/backup/

每次输入密码，非自动化，把密码写到文件里，变成自动化（在10.0.0.100上创建 rsync客户端）

echo "mengfanchao" > /etc/rsync.pas
chmod 600 /etc/rsync.pas

非交互查看共享目录：
rsync --password-file=/etc/rsync.pas /etc/network rsync://rsyncuser@10.0.0.101/backup

第一种方法：inotify+rsync+shell 脚本实现实时数据同步

cat inotify_rsync.sh
#!/bin/bash
SRC='/data/www/'                      #同步的源在哪里
DEST='rsyncuser@10.0.0.101::backup'   #

#rpm -q inotify-tools &> /dev/null  ||yum -y install  inotify-tools
#rpm -q rsync &> /dev/null  || yum -y install rsync
export RSYNC_PASSWORD=mengfanchao     #密码
inotifywait  -mrq  --exclude=".*\.swp" --timefmt '%Y-%m-%d %H:%M:%S' --format '%T %w %f' -e create,delete,moved_to,close_write,attrib ${SRC} |while read DATE TIME DIR FILE;do
        FILEPATH=${DIR}${FILE}
        rsync -az --delete  $SRC $DEST && echo "At ${TIME} on ${DATE}, file $FILEPATH was backuped up via rsync" >> /var/log/changelist.log
done

加权限后台执行
chmod +x inotify_rsync.sh
screen  后台执行
bash inotify_rsync.sh
查看进程ps aux

后台窗口关闭后如何回到后台窗口，screen -r

进行测试：

10.0.0.101:
watch -n1 ls -l /data/backup   #1s刷新一次，查看内容有无变化

在10.0.0.100的/data/www/目录内进行操作，删除所有文件
rm -rf *

第二种方法：sersync 实现实时数据同步

sersync类似于inotify,同样用于监控,但它克服了inotify的缺点
如：inotify最大的不足是会产生重复事件

下载地址：https://code.google.com/archive/p/sersync/downloads

下载：wget https://storage.googleapis.com/google-code-archivedownloads/v2/code.google.com/sersync/sersync2.5.4_64bit_binary_stable_final.tar. gz

解包：tar xf sersync2.5.4_64bit_binary_stable_final.tar.gz -C /usr/local/

cd /usr/local/ 
mv GNU-Linux-x86 /usr/local/sersync

ls sersync/
confxml.xml sersync2

创建软连接：ln -s /usr/local/sersync/sersync2 /usr/bin/

执行sersync2

修改配置文件

vim 
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
    <exclude expression="(.*)\.svn"></exclude>
    <exclude expression="(.*)\.gz"></exclude>
    <exclude expression="^info/*"></exclude>
    <exclude expression="^static/*"></exclude>
    </filter>
    <inotify>
    <delete start="true"/>
    <createFolder start="true"/>
    <createFile start="true"/>
    <closeWrite start="true"/>
    <moveFrom start="true"/>
    <moveTo start="true"/>
    <attrib start="true"/>
    <modify start="true"/>
    </inotify>

    <sersync>
    <localpath watch="/data/www/">                #修改源目录
        <remote ip="10.0.0.101" name="backup"/>   #rsync服务端 
        <!--<remote ip="192.168.8.39" name="tongbu"/>-->
        <!--<remote ip="192.168.8.40" name="tongbu"/>-->
    </localpath>
    <rsync>
        <commonParams params="-artuz"/>
        <auth start="true" users="rsyncuser" passwordfile="/etc/rsync.pas"/>#用户名密码
        <userDefinedPort start="false" port="874"/><!-- port=874 -->
        <timeout start="false" time="100"/><!-- timeout=100 -->
        <ssh start="false"/>
    </rsync>
    <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
    <crontab start="false" schedule="600"><!--600mins-->
        <crontabfilter start="false">
        <exclude expression="*.php"></exclude>
        <exclude expression="info/*"></exclude>
        </crontabfilter>
    </crontab>
    <plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
    <param prefix="/bin/sh" suffix="" ignoreError="true"/>  <!--prefix /opt/tongbu/mmm.sh suffix-->
    <filter start="false">
        <include expression="(.*)\.php"/>
        <include expression="(.*)\.sh"/>
    </filter>
    </plugin>

    <plugin name="socket">
    <localpath watch="/opt/tongbu">
        <deshost ip="192.168.138.20" port="8009"/>
    </localpath>
    </plugin>
    <plugin name="refreshCDN">
    <localpath watch="/data0/htdocs/cms.xoyo.com/site/">
        <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
        <sendurl base="http://pic.xoyo.com/cms"/>
        <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
    </localpath>
    </plugin>
</head>

创建连接rsynd服务器的用户密码文件,并必须修改权限

echo mengfanchao > /etc/rsync.pas
chmod 600 /etc/rsync.pas

以后台方式执行同步

screen
./sersync2 -dro /usr/local/sersync/confxml.xml

查看进程
px aux