安装
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev
下载软件
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
innobackupex 使用
备份核心理念
1.针对非innodb,进行锁表备份,copy所有非innodb表文件
2.针对innodb表,立即触发CKPT(将内存中的脏页刷到磁盘),copy所有innodb表相关的文件(ibdata1,ibd,frm)
并且将备份过程中产生的新的数据变化的部分redo一起备份走
3.在恢复时,xbk会调用innodb引擎的CSR过程,将数据和redo的LSN追平
备份的过程
1.非innodb表,进行短暂的锁表,然后copy数据文件
2.对于Innodb表,立即发出checkpoint,会立即记录一个LSN,copy数据文件
3.将备份过程中产生的redo进行截取和保存,并记录此时最新的LSN
恢复过程
模拟了CSR的全过程,在恢复之前,将数据的LSN的号和redo的LSN号追平
恢复方法就是直接cp回去即可
xbk全备和恢复
全备
innobackupex --user=root --password=123456 --no-timestamp /backup/full
如多实例会报错,加上-h
innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp /backup/full
全备恢复准备(模拟CSR的全过程)
innobackupex --apply-log /backup/full
前提:
1、被恢复的目录是空
2、被恢复的数据库的实例是关闭
systemctl stop mysqld
mkdir /data/mysql1
chown -R mysql.mysql /data/mysql1
cp -a /backup/full/* /data/mysql1/
vim /etc/my.cnf
datadir=/data/mysql1
chown -R mysql.mysql /data/mysql1
systemctl start mysqld
备份产生的文件介绍
xtrabackup_binlog_info 记录备份时刻的二进制日志信息,可以作为binlog截取的起点
xtrabackup_checkpoints
cat xtrabackup_checkpoints
backup_type = full-backuped #做完CSR的记录
from_lsn = 0 备份中包含LSN号的起点,全备:0 增量:上次备份结束位置
to_lsn = 191266157 CKPT时LSN号
last_lsn = 191266166 备份结束时LSN(-9),下次备份时启示位置(-9)
增量备份
模拟数据
mysql> create database full charset utf8mb4;
mysql> use full;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
备份策略,周日全备,周一至周六增量
进行周日的全备
# innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp /backup/full
检查数据
cat xtrabackup_checkpoints
backup_type = full-backuped
from_lsn = 0
to_lsn = 191272472
last_lsn = 191272481
compact = 0
recover_binlog_info = 0
模拟周一的数据变化
mysql> create database inc1 charset utf8mb4;
mysql> use inc1;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
进行周一的增量备份
innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp --incremental --incremental-basedir=/backup/full /backup/inc1
说明
--incremental 增量的开关
--incremental-basedir=/backup/full 基于全备的目录
/backup/inc1 增量备份到那个目录
检查备份的LSN
[root@db01 backup]# ls
full inc1
周二的数据变化
mysql> create database inc2 charset utf8mb4;
mysql> use inc2;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
周二的增量备份(基于的位置不一样)
innobackupex --host=10.0.0.51 --user=root --password=123456 --no-timestamp --incremental --incremental-basedir=/backup/inc1 /backup/inc2
周三的数据变化
mysql> create database inc3 charset utf8mb4;
mysql> use inc3;
mysql> create table t1(id int);
mysql> insert into t1 values(1),(2),(3);
mysql> commit;
模拟上午10点数据库崩溃
rm -rf /data/mysql/data/*
恢复思路
1.停业务,挂维护页
2.查找可用备份并处理备份:full+Inc1+inc2
3.binlog:inc2到故障时间点的binlog
4.恢复全备+增量+binlog
5.验证数据
6.启业务,撤维护页
恢复过程
1.整理full
2.合并inc1到full,并整理备份
3.合并inc2到full,并整理备份
4.最后一次整理full
整理full
innobackupex --apply-log --redo-only /backup/full
--apply-log redo undo 都整理一遍
--redo-only 只做redo 不做undo
这个选项应该在 整理全备和所有增量合并时 除了最后一次增量
合并inc1到full,并整理备份
innobackupex --apply-log --redo-only --incremental-dir=/backup/inc1 /backup/full
合并inc2到full,并整理备份
innobackupex --apply-log --incremental-dir=/backup/inc2 /backup/full
最后一次整理
innobackupex --apply-log /backup/full
截取二进制日志
起点:
cat /backup/inc2/xtrabackup_binlog_info
mysql-bin.000012 1994 32e14b41-28bc-11ea-851a-000c296fff83:1-9,
c01ce874-0b98-11ea-8819-000c296fff83:1-21
终点:
mysqlbinlog /data/binlog/mysql-bin.000012 |grep 'SET'
最后一个
SET @@SESSION.GTID_NEXT= '32e14b41-28bc-11ea-851a-000c296fff83:12'/*!*/;
恢复
mysqlbinlog --skip-gtids --include-gtids='32e14b41-28bc-11ea-851a-000c296fff83:10-12' /data/binlog/mysql-bin.000012>/backup/binlog.sql
\cp -a /backup/full/* /data/mysql/data/
chown -R mysql.mysql /data/
set sql_log_bin=0;
source /backup/binlog.sql
set sql_log_bin=1;
验证
select * from full.t1;
select * from inc1.t1;
select * from inc2.t1;
select * from inc3.t1;
恢复某个表
drop table city;
create table city like city_bak; #找到备份表结构,或者使用show create table city 在另一个数据库中
alter table city discard tablespace;
cp /backup/full/world/city.ibd /application/mysql/data/world/
chown -R mysql.mysql /application/mysql/data/world/city.ibd
alter table city import tablespace;
从5.6迁移到5.7(5.6.44--->5.7.26)
搭建5.6的测试环境
创建必须的目录
新开一个虚拟机
mkdir /data/mysql/data -p
mkdir /application -p
mkdir /data/binlog -p
创建用户,修改权限
yum remove mariadb-libs -y
useradd mysql
上传软件
tar xf mysql-5.6.44-linux-glibc2.12-x86_64.tar.gz
mv mysql-5.6.44-linux-glibc2.12-x86_64 mysql
chown -R mysql.mysql /data /application/
修改环境变量
export PATH=/application/mysql/bin/:$PATH
source /etc/profile
数据初始化
/application/mysql/scripts/mysql_install_db --user=mysql --basedir=/application/mysql --datadir=/data/mysql/data
如果报错
yum install libaio-devel -y
vim /etc/my.cnf
[mysqld]
basedir=/application/mysql
datadir=/data/mysql/data
server_id=99
user=mysql
log_bin=/data/binlog/mysql-bin
binlog_format=row
socket=/tmp/mysql.sock
[mysql]
socket=/tmp/mysql.sock
启动脚本
cp /application/mysql/support-files/mysql.server /etc/init.d/mysqld
/etc/init.d/mysqld start
mysqladmin -uroot -p passowrd 123456
迁移5.6 数据到5.7
随便写点即可,我这里使用t100w.sql导入数据
create database sky charset utf8mb4;
use sky
source t100w.sql;
mysql> select count(*) from t100w;
+----------+
| count(*) |
+----------+
| 1030345 |
+----------+
1 row in set (0.29 sec)
5.6全备
mysqldump -uroot -p123456 -A --master-data=2 --single-transaction -R -E --triggers > /tmp/full.sql
scp /tmp/full.sql root@10.0.0.51:/data/3308
启动之前的mysql5.7(我之前有多实例,就启动3308了)
systemctl start mysqld3308
set sql_log_bin=0;
source /data/3308/full.sql
flush privileges;
mysql_upgrade -uroot -p123456 -S /data/3308/mysql.sock
将旧版本升级为新版本