0
点赞
收藏
分享

微信扫一扫

mysql备份恢复与迁移

我阿霆哥 2022-09-10 阅读 290

DBA职责

1,设计备份策略

  • 全备
  • 增量
  • 时间
  • 自动

2,日常备份检查

  • 备份存在性
  • 备份空间够用否

3,定期恢复演练

  • 一个季度 或者 半年

4,故障恢复

  • 通过现有备份,能够将数据库恢复到故障之前的时间点

5,迁移

  • 停机时间
  • 回退方案

备份类型:

mysql备份恢复与迁移_数据

 

 备份方式以及工具介绍

mysql备份恢复与迁移_mysql_02

 

 

逻辑备份和物理备份的比较

mysql备份恢复与迁移_sql_03

 

 

mysql备份恢复与迁移_数据_04

 逻辑备份mysqldump

本地备份链接方式
mysqldump -uroot -p123456 -S /tmp/mysql.sock
远程备份的链接方式
mysqldump -uroot -p123456 -h xxxxxxx -P xxxxx

基本备份参数
-A 全库备份

例子:实现全库备份

mkdir -p /data/backup
mysqldump -uroot -p123456 -A -S /tmp/mysql.sock > /data/backup/full.sql

-B 备份 单个库或者多个库数据

mysqldump -uroot -p123456 -B order cms -S /tmp/mysql.sock > /data/backup/full.sql  
建库+建表

 

库名 表名 : 备份某个库下的1张或者多上表

备份 world数据库下的city和country表

mysqldump -uroot -p123456 world city country -S /tmp/mysql.sock > /data/backup/tab.sql

mysqldump -uroot -p123456 world  -S /tmp/mysql.sock > /data/backup/tab.sql #只建表 没有建库语句

 

备份msyql所有库和表 –A  -B

Mysqldump –uroot –p’oldboy123’ –A –B –events|gzip > /opt/a.sql.gz



备份所有库
mysqldump -uroot -poldboy -S /data/3306/mysql.sock -F -B -A|gzip > /server/backup/mysqlbak_$(date+%F).sql.gz
备份一个库
mysqldump -uroot -poldboy -S /data/3306/mysql.sock -F -B oldboy|gzip > /server/backup/mysqlbak_$(date+%F).sql.gz

 

必须加的参数1):

-R  在备份时,同时备份存储过程和函数,如果没有就会自动忽略

-E  在备份时,同时备份实践EVENT 如果没有就会自动忽略

--triggers  在备份时,同时备份触发器,如果没有就会自动忽略

 

必须加的参数2):

--master-data=2

  1. 记录备份时的position
  2. 自动锁表
  3. 配合--single-transaction 减少锁的(innode引擎)

 

以注释的形式,保存备份开始时间点的binlog的状态信息

mysqldump -uroot -p -A -R --triggers --master-data=2 >/back/world.sql
[root@db01 ~]# grep 'CHANGE' /backup/world.sql
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000035', MASTER_LOG_POS=194;

功能:
(1)在备份时,会自动记录,二进制日志文件名和位置号
0 默认值
1 以change master to命令形式,可以用作主从复制
2 以注释的形式记录,备份时刻的文件名+postion号
(2) 自动锁表
(3)如果配合--single-transaction,只对非InnoDB表进行锁表备份,InnoDB表进行“热“”备,实际上是实现快照备份。

 

--single-transaction

对于innode的表实现快照备份,不锁表

 

innodb 存储引擎开启热备(快照备份)功能       
master-data可以自动加锁
(1)在不加--single-transaction ,启动所有表的温备份,所有表都锁定
(1)加上--single-transaction ,对innodb进行快照备份,对非innodb表可以实现自动锁表功能
例子6: 备份必加参数
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql

 

--set-gtid-purged=auto

mysql备份恢复与迁移_mysql_05

 

 

mysql备份恢复与迁移_mysql_06

 

auto , on
off
使用场景:
1. --set-gtid-purged=OFF,可以使用在日常备份参数中.
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql
2. auto , on:在构建主从复制环境时需要的参数配置
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=ON >/data/backup/full.sql

 

 

 

--max-allowed-paxket=128M

--表特别大的时候,可以设置

mysqldump -uroot -p -A -R -E --triggers --master-data=2  --single-transaction --set-gtid-purged=OFF --max-allowed-packet=256M >/data/backup/full.sql

--max-allowed-packet=#
The maximum packet length to send to or receive from

 

 

 

 

mysql备份恢复与迁移_mysql_07

 

 生产场景:增加binlog日志文件和对应位置点,锁表

mysql备份恢复与迁移_mysql_08

 

备份恢复案例

mysql备份恢复与迁移_数据_09

 

 

1,进行全备

mysqldump -uroot -p123456 -A -R --triggers -E --master-data=2

master-data=2在备份文件中增加了binlog文件和pos位置,好处:恢复全备,恢复日志

vim  /data/backup/full.sql

mysql备份恢复与迁移_数据_10

 

 2,模拟全备之后的操作

mysql备份恢复与迁移_数据_11

 

 3,模拟损坏

mysql备份恢复与迁移_sql_12

 

 4,初始化数据

mysqld --initialize-insecure --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data
/etc/init.d/mysqld start

5,进行全备恢复

mysql登录
set sql_log_bin=0;#不记录binlog
source /data/backup/full.sql
flush privileges;

6,找日志起点和终点

show binlog event in "mysql-bin.000045";

mysql备份恢复与迁移_sql_13

 

 

mysql备份恢复与迁移_sql_14

 

 7,恢复binlog日志

set sql_log_bin = 0;
source /data/backup/bin.sql;

 

扩展:

mysql备份恢复与迁移_数据_15

 

 

mysql备份恢复与迁移_mysql_16

 

mysql备份恢复与迁移_mysql_17

mysql备份恢复与迁移_sql_18

(1)每天全备
(2)binlog日志是完整
(3)模拟白天的数据变化
(4)模拟下午两点误删除数据库

需求: 利用全备+binlog回复数据库误删除之前。
故障模拟及恢复:
1. 模拟周一23:00的全备
mysqldump -uroot -p -A -R -E --triggers --master-data=2 --single-transaction --set-gtid-purged=OFF >/data/backup/full.sql
2. 模拟白天的数据变化
Master [(none)]>create database day1 charset utf8;
Master [(none)]>use day1
Master [day1]>create table t1(id int);
Master [day1]>insert into t1 values(1),(2),(3);
Master [day1]>commit;
Master [world]>update city set countrycode='CHN';
Master [world]>commit;
模拟磁盘损坏:
[root@db01 data]# \rm -rf /data/mysql/data/*
3. 恢复故障
[root@db01 data]# pkill mysqld
[root@db01 data]# \rm -rf /data/mysql/data/*
4. 恢复思路
1.检查备份可用性
2.从备份中获取二进制日志位置
3.根据日志位置截取需要的二进制日志
4.初始化数据库,并启动
5.恢复全备
6.恢复二进制日志

模拟故障案例并恢复

 

 

mysql备份恢复与迁移_mysql_17

mysql备份恢复与迁移_sql_18

例子:
mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz
mysqldump -uroot -p123 -A -R --triggers --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F-%T).sql.gz

mysqldump备份的恢复方式(在生产中恢复要谨慎,恢复会删除重复的表)
set sql_log_bin=0;
source /backup/full_2018-06-28.sql

注意:
1、mysqldump在备份和恢复时都需要mysql实例启动为前提。
2、一般数据量级100G以内,大约15-45分钟可以恢复,数据量级很大很大的时候(PB、EB)
3、mysqldump是覆盖形式恢复的方法。

一般我们认为,在同数据量级,物理备份要比逻辑备份速度快.
逻辑备份的优势:
1、可读性强
2、压缩比很高

压缩备份并添加时间戳

 

mysql备份恢复与迁移_mysql_17

mysql备份恢复与迁移_sql_18

故障模拟演练


准备数据

create database backup;
use backup
create table t1 (id int);
insert into t1 values(1),(2),(3);
commit;
rm -rf /backup/*


周二 23:00全备
mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 --single-transaction|gzip > /backup/full_$(date +%F).sql.gz

模拟周二 23:00到周三 10点之间数据变化
use backup
insert into t1 values(11),(22),(33);
commit;
create table t2 (id int);
insert into t2 values(11),(22),(33);

模拟故障,删除表(只是模拟,不代表生产操作)
drop database backup;


恢复过程
准备临时数据库(多实例3307)
systemctl start mysqld3307
准备备份
(1)准备全备:
cd /backup
gunzip full_2018-10-17.sql.gz
(2)截取二进制日志
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000036', MASTER_LOG_POS=793;
mysqlbinlog --skip-gtids --include-gtids='3ca79ab5-3e4d-11e9-a709-000c293b577e:6-7' /data/binlog/mysql-bin.000036 >/backup/bin.sql
恢复备份到临时库
mysql -S /data/3307/mysql.sock
set sql_log_bin=0;
source /backup/full_2018-10-17.sql
source /backup/bin.sql

将故障表导出并恢复到生产
mysqldump -S /data/3307/mysql.sock backup t1 >/backup/t1.sql
mysql -uroot -p123
set sql_log_bin=0
use backup
source /backup/t1.sql;

故障模拟演练

 

备份时优化参数:

(1) max_allowed_packet   最大的数据包大小

mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 max_allowed_packet=128M --single-transaction|gzip > /backup/full_$(date +%F).sql.gz

(2) 增加key_buffer_size (临时表有关)
(3) 分库分表并发备份 (作业)
(4) 架构分离,分别备份 (架构拆分,分布式备份)

 

 MySQL物理备份工具-xtrabackup(XBK、Xbackup)

安装依赖包:

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo

下载软件并安装

wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

 

备份命令介绍:

xtrabackup
innobackupex ******

备份方式——物理备份

(1)对于非Innodb表(比如 myisam)是,锁表cp数据文件,属于一种温备份。
(2)对于Innodb的表(支持事务的),不锁表,拷贝数据页,最终以数据文件的方式保存下来,把一部分redo和undo一并备走,属于热备方式。

xbk 在innodb表备份恢复的流程

0、xbk备份执行的瞬间,立即触发ckpt,已提交的数据脏页,从内存刷写到磁盘,并记录此时的LSN号
1、备份时,拷贝磁盘数据页,并且记录备份过程中产生的redo和undo一起拷贝走,也就是checkpoint LSN之后的日志
2、在恢复之前,模拟Innodb“自动故障恢复”的过程,将redo(前滚)与undo(回滚)进行应用
3、恢复过程是cp 备份到原来数据目录下

innobackupex使用

 全备

[root@db01 backup]# innobackupex --user=root --password=123

注意:备份工具依赖于/etc/my.cnf

如果说配置文件没有在/etc/,可以如下操作

innobackupex --defaults-file=xxxxx --user=root --password=123

 

自主定制备份路径名

[root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/backup/full

备份集中多出来的文件:

-rw-r----- 1 root root       24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root 119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root 489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root 2560 Jun 29 09:59 xtrabackup_logfile

xtrabackup_binlog_info :(备份时刻的binlog位置)
[root@db01 full]# cat xtrabackup_binlog_info
mysql-bin.000003 536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
记录的是备份时刻,binlog的文件名字和当时的结束的position,可以用来作为截取binlog时的起点。

xtrabackup_checkpoints :
backup_type = full-backuped
from_lsn = 0 上次所到达的LSN号(对于全备就是从0开始,对于增量有别的显示方法)
to_lsn = 160683027 备份开始时间(ckpt)点数据页的LSN
last_lsn = 160683036 备份结束后,redo日志最终的LSN
compact = 0
recover_binlog_info = 0
(1)备份时刻,立即将已经commit过的,内存中的数据页刷新到磁盘(CKPT).开始备份数据,数据文件的LSN会停留在to_lsn位置。
(2)备份时刻有可能会有其他的数据写入,已备走的数据文件就不会再发生变化了。
(3)在备份过程中,备份软件会一直监控着redo的undo,如果一旦有变化会将日志也一并备走,并记录LSN到last_lsn。
从to_lsn ----》last_lsn 就是,备份过程中产生的数据变化.

 

全备的恢复

准备备份(Prepared)

将redo进行重做,已提交的写到数据文件,未提交的使用undo回滚掉。模拟了CSR的过程
[root@db01 ~]# innobackupex --apply-log /backup/full

恢复备份

前提:
1、被恢复的目录是空
2、被恢复的数据库的实例是关闭
systemctl stop mysqld

 

创建新目录

[root@db01 backup]# mkdir /data/mysql1

数据授权

chown -R mysql.mysql /data/mysql1

恢复备份

[root@db01 full]# cp -a /backup/full/* /data/mysql1/

启动数据库

vim /etc/my.cnf
datadir=/data/mysql1
[root@db01 mysql1]# chown -R mysql.mysql /data/mysql1
systemctl start mysqld

 

innobackupex 增量备份(incremental)

(1)增量备份的方式,是基于上一次备份进行增量。
(2)增量备份无法单独恢复。必须基于全备进行恢复。
(3)所有增量必须要按顺序合并到全备中。

增量备份命令

(1)删掉原来备份
略.
(2)全备(周日)
[root@db01 backup]# innobackupex --user=root --password --no-timestamp /backup/full >&/tmp/xbk_full.log
或者 innobackupex --user=root --password --no-timestamp /backup/full_$(date +%F) >&/tmp/xbk_full.log
(3)模拟周一数据变化
db01 [(none)]>create database cs charset utf8;
db01 [(none)]>use cs
db01 [cs]>create table t1 (id int);
db01 [cs]>insert into t1 values(1),(2),(3);
db01 [cs]>commit;

(4)第一次增量备份(周一)
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full /backup/inc1

--incremental-basedir=原始全备目录 当天增量目录

(5)模拟周二数据
db01 [cs]>create table t2 (id int);
db01 [cs]>insert into t2 values(1),(2),(3);
db01 [cs]>commit;
(6)周二增量
innobackupex --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1 /backup/inc2

--incremental-basedir=上一天的增量备份目录 当天增量目录

(7)模拟周三数据变化
db01 [cs]>create table t3 (id int);
db01 [cs]>insert into t3 values(1),(2),(3);
db01 [cs]>commit;
db01 [cs]>drop database cs;

检查下备份文件的lsn号

mysql备份恢复与迁移_mysql_23

 

 

模拟删除数据库

pkill mysqld

\rm -rf /data/mysql/data/*

 

恢复到周三误drop之前的数据状态

恢复思路:
1. 挂出维护页,停止当天的自动备份脚本
2. 检查备份:周日full+周一inc1+周二inc2,周三的完整二进制日志
3. 进行备份整理(细节),截取关键的二进制日志(从备份——误删除之前)
4. 测试库进行备份恢复及日志恢复
5. 应用进行测试无误,开启业务
6. 此次工作的总结

恢复过程

1. 检查备份
1afe8136-601d-11e9-9022-000c2928f5dd:7-9
2. 备份整理(apply-log)+合并备份(full+inc1+inc2)
(1) 全备的整理
[root@db01 one]# innobackupex --apply-log --redo-onlyfull
(2) 合并inc1到full中
[root@db01 one]# innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1full
(3) 合并inc2到full中

最后一次增量恢复不需要 --redo-only参数,上面过程都需要添加--redo-only

[root@db01 one]# innobackupex --apply-log  --incremental-dir=/data/backup/inc2full
(4) 最后一次整理全备
[root@db01 backup]# innobackupex --apply-log /data/backup/full
3. 截取周二 23:00 到drop 之前的 binlog
[root@db01 inc2]# mysqlbinlog --skip-gtids --include-gtids='1afe8136-601d-11e9-9022-000c2928f5dd:7-9' /data/binlog/mysql-bin.000009 >/data/backup/binlog.sql
4. 进行恢复
[root@db01 backup]# mkdir /data/mysql/data2 -p
[root@db01 full]# cp -a * /data/mysql/data2
[root@db01 backup]# chown -R mysql. /data/*systemctl stop mysqld
vim /etc/my.cnf
datadir=/data/mysql/data2
systemctl start mysqld
Master [(none)]>set sql_log_bin=0;
Master [(none)]>source /data/backup/binlog.sql

上述3中截取binlog日志

-----找到最后一次增量备份的文件

mysql备份恢复与迁移_数据_24

 

 

mysql备份恢复与迁移_mysql_25

 

mysqlbinlog --skip-gitds --include-gtids='xxxx:5' /data/binlog/mysql-bin.000050 >data/bak/bin.sql

登录mysql客户端

source /data/bak/bin.sql

 扩展:

innobackupex --user=root --password=123 --defaults-file=/etc/my.cnf  -no-timestamp --stream=tar --use-memory=256M --parallel=8 /data/mysql_backup | gzip | ssh   root@10.0.0.52  " cat -> /data/mysql_backup.tgz "

--stream=tar #启用压缩方式备份
--use-memory=256M #单独占用一块内存
--parallel=8

 

 备份如何配合binlog找到起点和终点

mysqldump

起点:找到全备脚本,找到change master to

终点:通过看events 或者 文件内容 找到故障点的位置

xtrabackup:

起点:找到增强备份,备份路径下xtrabackup_binlog_info

终点:通过看events 或者 文件内容 找到故障点的位置

 

备份集中单独恢复表

思考:在之前的项目案例中,如果误删除的表只有10M,而备份有500G,该如何快速恢复误删除表?
提示:
drop table city;
create table city like city_bak;
alter table city discard tablespace;
cp /backup/full/world/city.ibd /application/mysql/data/world/
chown -R mysql.mysql /application/mysql/data/world/city.ibd
alter table city import tablespace;

 从mysqldump 全备中获取库和表的备份

1、获得表结构
# sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q' full.sql>createtable.sql

2、获得INSERT INTO 语句,用于数据的恢复

# grep -i 'INSERT INTO `city`' full.sqll >data.sql &

3.获取单库的备份

# sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p'

 

举报

相关推荐

0 条评论