0
点赞
收藏
分享

微信扫一扫

mysql主从同步原理及实践（最全）

大明宫 2023-01-09 阅读 112
mysql数据库sqlSQLSSL虚拟化云计算


1.为什么要做主从复制

  1. 在业务复杂的系统中，有这么一个情景，有一句sql语句需要锁表，导致暂时不能使用读的服务，那么就很影响运行中的业务，使用主从复制，让主库负责写，从库负责读，这样，即使主库出现了锁表的情景，通过读从库也可以保证业务的正常运行。
  2. 做数据的热备，主库宕机后能够及时替换主库，保证业务可用性。
  3. 架构的扩展。业务量越来越大，I/O访问频率过高，单机无法满足，此时做多库的存储，降低磁盘I/O访问的频率，提高单个机器的I/O性能。

2.MySQL主从复制的流程

mysql主从同步原理及实践（最全）_SQL

（1） 主库db的更新事件(update、insert、delete)被写到binlog
（2）主库创建一个binlog dump thread，把binlog的内容发送到从库
（3）从库启动并发起连接，连接到主库
（4）从库启动之后，创建一个I/O线程，读取主库传过来的binlog内容并写入到relay log
（5）从库启动之后，创建一个SQL线程，从relay log里面读取内容，从Exec_Master_Log_Pos位置开始执行读取到的更新事件，将更新内容写入到slave的db

注：上述流程为相对流程，并非绝对流程

3.MySQL主从复制的原理

MySQL主从复制是一个异步的复制过程，主库发送更新事件到从库，从库读取更新记录，并执行更新记录，使得从库的内容与主库保持一致。

binlog：binary log，主库中保存所有更新事件日志的二进制文件。binlog是数据库服务启动的一刻起，保存数据库所有变更记录（数据库结构和内容）的文件。在主库中，只要有更新事件出现，就会被依次地写入到binlog中，之后会推送到从库中作为从库进行复制的数据源。

binlog输出线程：每当有从库连接到主库的时候，主库都会创建一个线程然后发送binlog内容到从库。 对于每一个即将发送给从库的sql事件，binlog输出线程会将其锁住。一旦该事件被线程读取完之后，该锁会被释放，即使在该事件完全发送到从库的时候，该锁也会被释放。

在从库中，当复制开始时，从库就会创建从库I/O线程和从库的SQL线程进行复制处理。

从库I/O线程：当START SLAVE语句在从库开始执行之后，从库创建一个I/O线程，该线程连接到主库并请求主库发送binlog里面的更新记录到从库上。 从库I/O线程读取主库的binlog输出线程发送的更新并拷贝这些更新到本地文件，其中包括relay log文件。

从库的SQL线程：从库创建一个SQL线程，这个线程读取从库I/O线程写到relay log的更新事件并执行。

综上所述，可知：

对于每一个主从复制的连接，都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个binlog输出线程，每一个从库都有它自己的I/O线程和SQL线程。

从库通过创建两个独立的线程，使得在进行复制时，从库的读和写进行了分离。因此，即使负责执行的线程运行较慢，负责读取更新语句的线程并不会因此变得缓慢。比如说，如果从库有一段时间没运行了，当它在此启动的时候，尽管它的SQL线程执行比较慢，它的I/O线程可以快速地从主库里读取所有的binlog内容。这样一来，即使从库在SQL线程执行完所有读取到的语句前停止运行了，I/O线程也至少完全读取了所有的内容，并将其安全地备份在从库本地的relay log，随时准备在从库下一次启动的时候执行语句。

4.最佳实践

4.1 创建配置文件挂载docker目录

mkdir -p /home/mysql/master

mkdir -p /home/mysql/slave

4.2 增加my.cnf配置

vim /home/mysql/master/etc/mysql/my.cnf

[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL
log-bin = mysql-bin
server-id = 1

vim /home/mysql/slave/etc/mysql/my.cnf

[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL
log-bin = mysql-bin
server-id = 2

4.2启动主从mysql容器

主容器

docker run -p 13306:3306 \
--name mysql-master \
-v /home/mysql/master/etc/mysql/my.cnf:/etc/mysql/my.cnf \
-e MYSQL_ROOT_PASSWORD=mysql \
-d mysql

从容器

docker run -p 23306:3306 \
--name mysql-slave \
-v /home/mysql/slave/etc/mysql/my.cnf:/etc/mysql/my.cnf \
-e MYSQL_ROOT_PASSWORD=mysql \
-d mysql

4.3主容器配置

mysql -uroot -pmysql

查看主状态

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 |      156 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

记录 File 的值和 Position 的值。

下面要用到，到这里为止，主库千万不要再做任何操作，防止状态改变。

4.4 从容器配置

mysql -uroot -pmysql

master_host=’x.x.x.x’ // 这里填 master 主机 ip
master_log_file=’mysql-bin.000003’, // 这里填写 File 的值
master_log_pos=1338,// 这里填写 Position 的值。
mysql> start slave;// 启动从服务器复制功能

# 1.填错的也先停止，可以重新设置第2步骤
stop slave;

# 2.设置复制的起点
change master to
master_host='10.6.8.227',
master_user='root',
master_log_file='mysql-bin.000003',
master_log_pos=156,
master_port=13306,
master_password='mysql';

# 启动从服务
start slave;

4.5检查主从连接状态

看
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
是否都是YES

mysql> show slave status\G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for source to send event
                  Master_Host: 10.6.8.227
                  Master_User: root
                  Master_Port: 13306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000003
          Read_Master_Log_Pos: 341
               Relay_Log_File: 7a9c9ae49c49-relay-bin.000002
                Relay_Log_Pos: 509
        Relay_Master_Log_File: mysql-bin.000003
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 341
              Relay_Log_Space: 725
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
                  Master_UUID: 724cdea0-0d4e-11ec-8830-0242ac110002
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Replica has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

4.6 常见问题

4.6.1 MySQL主从复制报错Authentication plugin ‘caching_sha2_password‘ reported error: Authentication

查看主库：

SELECT plugin FROM `user` where user = 'repl';

原来是主库repl的plugin是caching_sha2_password 导致连接不上，修改为mysql_native_password即可解决。

ALTER USER 'repl'@'%' IDENTIFIED WITH mysql_native_password BY 'root';

参考文献

​​http://dbadiaries.com/what-is-mysql-replication-and-how-does-it-work​​

​​https://dev.mysql.com/doc/refman/5.6/en/replication-implementation-details.html​​


举报

相关推荐

Mysql主从同步原理

mysql数据库

Mysql主从同步及主从同步延迟解决方案

mysql数据库java主从同步sql编程语言

MySQL实战 主从同步(原理+实战)

MySQL

MySQL主从同步及读写分离

Mysqlmysql数据库服务器JavaScript前端开发

【数据库】mysql主从同步原理

数据库mysqljava

【mysql进阶】MTS主从同步原理及实操指南（七）

mysqlsql数据库数据SQLSpark大数据

深入解析Mysql 主从同步延迟原理及解决方案

mysqlsql主从同步

mysql搭建及主从同步+读写分离

mysqlsqllinuxMySQL数据库

mysql 主从同步

mysql数据库

MySQL主从同步

数据库个人学习架构能力提升T-Sql
0 条评论