MySQL主从, 高可用架构与高性能架构
MySQL主从复制
需求: 以前单个服务器提供服务, 若突然坏了, 需要通过历史备份将数据备份至新服务器, 需要花很长时间, 损失较大
主从复制原理,: 基于二进制日志(binlog), 记录所有数据的变化 , 只要某个时间点主从库数据一致, 后面通过二进制日志实现同步
Mysql主从结构
方框介绍
binlog: 主库的二进制日志, 记录主库数据变化
master.info: 记录链接主库的用户名和密码 , 从库当前二进制日志的数据位置
relay-log.info: 上次运行过的二进制日志的数据位置
执行过程介绍:
- I/O线程拿到master.info里面存的链接主库的用户名和密码与当前二进制日志的数据位置
- I/O线程链接主库并询问主库是否有二进制日志的更新, 通过master.info里面的数据位置与主库的二进制比较
- 主库通过dump线程读取二进制日志
- 若有更新, 则将新数据通过dump线程发送给I/O线程
- I/O线程将新数据写入TCP/IP缓存
- I/O线程给dump线程返回ack表示收到
- I/O线程将刚拿到的二进制文件的最新数据更新master.info里面存的数据位置, 用于下次再询问时的比较依据
- TCP/IP缓存将数据写入relay-log(中继日志)
- SQL线程读取上次执行过的二进制文件的位置,
- 找到最新的日志文件并执行
- 更新relay-log.info
可以通过中间件实现读写分离
中间件应该实现的功能:
- 判断请求是读还是写, 写的请求发给主库, 读的请求发给从库, 实现读写分离
- 监控, 若某台从库挂了, 不在给其发请求
- 读请求的负载均衡
高可用架构
以上复制集有一个缺点, 当主库挂了, 主库里的最新数据可能没有及时同步到从库,造成数据丢失
比较好的分布式架构中间件有MHA , 淘宝基于MHA开发了TMHA, TDDL
这些中间件可以监控, 当主库挂了能实现以下功能
- 选主: 选数据最新的一个从库为主库
- 数据补偿: 需要将主库二进制日志文件独立出来, 单独放到一个数据库
mysql5.7的版本也有一个架构目前还不太成熟
mysql innodb cluster 组成如下:
MGR(实现多台服务器提供写的功能)+mysql router(实现读写分离)+mysql shell
mysql的中间件理念来自于MongoDB sharding cluster
高性能架构
分片集群
1. 将表分到不同的服务器
join不同服务器的两张表时, 在服务器之前挡一个中间件, 将mysql的sql层提到中间件中, 下面的服务器只需要提供表数据, join等sql操作由中间件完成
2. 将单表的数据行拆到不同库
比如一张表有90w行数据, 可以拆到三个服务器, 每个服务器放30w条
同样在服务器前挡一个中间件, 记录数据库的分片策略以及各节点的信息
各个节点只负责提供数据与存数据
