Mysql备份恢复xtrabackup物理备份

安装

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev

下载软件

wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm

https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm

yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm

innobackupex 使用

备份核心理念
1.针对非innodb,进行锁表备份,copy所有非innodb表文件
2.针对innodb表,立即触发CKPT(将内存中的脏页刷到磁盘),copy所有innodb表相关的文件(ibdata1,ibd,frm)
并且将备份过程中产生的新的数据变化的部分redo一起备份走
3.在恢复时,xbk会调用innodb引擎的CSR过程,将数据和redo的LSN追平

备份的过程

1.非innodb表,进行短暂的锁表,然后copy数据文件
2.对于Innodb表,立即发出checkpoint,会立即记录一个LSN,copy数据文件
3.将备份过程中产生的redo进行截取和保存,并记录此时最新的LSN

恢复过程

模拟了CSR的全过程,在恢复之前,将数据的LSN的号和redo的LSN号追平
恢复方法就是直接cp回去即可

xbk全备和恢复

全备
innobackupex --user=root --password=123456 --no-timestamp /backup/full
如多实例会报错,加上-h
innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp /backup/full
全备恢复准备(模拟CSR的全过程)
innobackupex --apply-log /backup/full

前提:
1、被恢复的目录是空
2、被恢复的数据库的实例是关闭

systemctl stop mysqld
mkdir /data/mysql1
chown -R mysql.mysql /data/mysql1
cp -a /backup/full/* /data/mysql1/
vim /etc/my.cnf
datadir=/data/mysql1
 chown -R mysql.mysql /data/mysql1
systemctl start mysqld

备份产生的文件介绍

xtrabackup_binlog_info 记录备份时刻的二进制日志信息,可以作为binlog截取的起点

xtrabackup_checkpoints
cat xtrabackup_checkpoints
backup_type = full-backuped #做完CSR的记录
from_lsn = 0 备份中包含LSN号的起点,全备:0 增量:上次备份结束位置
to_lsn = 191266157 CKPT时LSN号
last_lsn = 191266166 备份结束时LSN(-9),下次备份时启示位置(-9)

增量备份

image.png

模拟数据

mysql> create database full charset utf8mb4;
mysql> use full;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

备份策略,周日全备,周一至周六增量
进行周日的全备

# innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp /backup/full
检查数据
 cat xtrabackup_checkpoints 
backup_type = full-backuped
from_lsn = 0
to_lsn = 191272472
last_lsn = 191272481
compact = 0
recover_binlog_info = 0

模拟周一的数据变化

mysql> create database inc1 charset utf8mb4;
mysql> use inc1;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

进行周一的增量备份

innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp --incremental  --incremental-basedir=/backup/full /backup/inc1

说明
--incremental 增量的开关
--incremental-basedir=/backup/full 基于全备的目录
/backup/inc1 增量备份到那个目录
检查备份的LSN

[root@db01 backup]# ls
full  inc1
image.png

周二的数据变化

mysql> create database inc2 charset utf8mb4;
mysql> use inc2;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

周二的增量备份(基于的位置不一样)

innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp --incremental --incremental-basedir=/backup/inc1 /backup/inc2
image.png

周三的数据变化

mysql> create database inc3 charset utf8mb4;
mysql> use inc3;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;

模拟上午10点数据库崩溃

rm -rf /data/mysql/data/*

恢复思路
1.停业务,挂维护页
2.查找可用备份并处理备份:full+Inc1+inc2
3.binlog:inc2到故障时间点的binlog
4.恢复全备+增量+binlog
5.验证数据
6.启业务,撤维护页

恢复过程
1.整理full
2.合并inc1到full,并整理备份
3.合并inc2到full,并整理备份
4.最后一次整理full

整理full

innobackupex --apply-log --redo-only /backup/full

--apply-log redo undo 都整理一遍
--redo-only 只做redo 不做undo
这个选项应该在 整理全备和所有增量合并时 除了最后一次增量
合并inc1到full,并整理备份

innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1 /backup/full

合并inc2到full,并整理备份

innobackupex --apply-log  --incremental-dir=/backup/inc2 /backup/full

最后一次整理

innobackupex --apply-log /backup/full

截取二进制日志
起点:

cat /backup/inc2/xtrabackup_binlog_info 
mysql-bin.000012    1994    32e14b41-28bc-11ea-851a-000c296fff83:1-9,
c01ce874-0b98-11ea-8819-000c296fff83:1-21

终点:

mysqlbinlog /data/binlog/mysql-bin.000012 |grep 'SET'
最后一个
SET @@SESSION.GTID_NEXT= '32e14b41-28bc-11ea-851a-000c296fff83:12'/*!*/;

恢复

mysqlbinlog --skip-gtids --include-gtids='32e14b41-28bc-11ea-851a-000c296fff83:10-12' /data/binlog/mysql-bin.000012>/backup/binlog.sql
\cp -a /backup/full/* /data/mysql/data/
chown -R mysql.mysql /data/

set sql_log_bin=0;
source /backup/binlog.sql
set sql_log_bin=1;

验证

select * from full.t1;
select * from inc1.t1;
select * from inc2.t1;
select * from inc3.t1;

恢复某个表

drop table city;
create table city like city_bak;    #找到备份表结构,或者使用show create table city  在另一个数据库中
alter table city discard tablespace;
cp /backup/full/world/city.ibd  /application/mysql/data/world/
chown -R mysql.mysql  /application/mysql/data/world/city.ibd 
alter table city import  tablespace;

从5.6迁移到5.7(5.6.44--->5.7.26)

搭建5.6的测试环境
创建必须的目录
新开一个虚拟机

mkdir /data/mysql/data -p
mkdir /application  -p
mkdir /data/binlog -p

创建用户,修改权限

yum remove mariadb-libs -y
useradd mysql
上传软件
tar xf mysql-5.6.44-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.6.44-linux-glibc2.12-x86_64 mysql
chown -R mysql.mysql /data  /application/
修改环境变量
export PATH=/application/mysql/bin/:$PATH
source /etc/profile

数据初始化

/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data
如果报错
yum install libaio-devel -y
vim /etc/my.cnf
[mysqld]
basedir=/application/mysql
datadir=/data/mysql/data
server_id=99
user=mysql
log_bin=/data/binlog/mysql-bin
binlog_format=row
socket=/tmp/mysql.sock
[mysql]
socket=/tmp/mysql.sock
启动脚本
 cp /application/mysql/support-files/mysql.server /etc/init.d/mysqld
/etc/init.d/mysqld start
mysqladmin -uroot -p passowrd 123456

迁移5.6 数据到5.7
随便写点即可,我这里使用t100w.sql导入数据

create database sky charset utf8mb4;
use sky
source t100w.sql;
mysql> select count(*) from t100w;
+----------+
| count(*) |
+----------+
|  1030345 |
+----------+
1 row in set (0.29 sec)

5.6全备

mysqldump -uroot -p123456 -A --master-data=2 --single-transaction -R -E --triggers > /tmp/full.sql
scp /tmp/full.sql root@10.0.0.51:/data/3308

启动之前的mysql5.7(我之前有多实例,就启动3308了)

systemctl start mysqld3308
 set sql_log_bin=0;
source /data/3308/full.sql
flush privileges;
mysql_upgrade -uroot -p123456 -S /data/3308/mysql.sock
将旧版本升级为新版本
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 210,978评论 6 490
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 89,954评论 2 384
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 156,623评论 0 345
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,324评论 1 282
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,390评论 5 384
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,741评论 1 289
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,892评论 3 405
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,655评论 0 266
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,104评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,451评论 2 325
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,569评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,254评论 4 328
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,834评论 3 312
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,725评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,950评论 1 264
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,260评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,446评论 2 348

推荐阅读更多精彩内容