Mysql千万级数据快速分页查询方案
@(数据库)[mysql]
[toc]
实际应用场景说明
服务器配置: 阿里云 2核4G mysql服务器
生产场景： 将mysql数据库中的文章数据进行批量化处理更新
问题详情: 当分页数过大时查询速度很慢,且主键不是自增主键，不能用id来过滤
解决方法： 使用了between and 的方式来加快了查询速度
1.limit方法的局限性
select * from articles limit 100,500
> 查询0.06秒
-
limit是最常用的分页方法,它在执行过程中，相当于先遍历了前100个，然后取了第100到500个，舍弃了前100个.但是limit仅适用于小数据范围内的分页查询
小数据select * from articles limit 170500,171000 > 查询 193秒 当查询170500开始的500条数据时,因为要先查询前170500条数据,数据内容庞大，所以查询很慢
2.通过主键id过滤的方法
select * from articles where id >(select id from articles limit 170500,1) limit 500
> 查询 2.5s
- 这种方法的好处是首先通过id索引快速定位到了分页数据的起始位置(
避免了全文检索)，并且用limit 方法快速获取了从起始位置往后的500个数据。
3.between and
select * from articles where id between (select id from articles limit 170000,1) and (select id from articles limit 170500,1)
> 查询 2s
-
最优方法between and前一种方法相当于是先利用id索引的优势快速定位到了分页的起始位置，然后往后截取了500条数据.between and的方法相当于也是利于id索引的优势,但是同时定位了分页的起始和终止的位置,截取了中间的信息,因此速度会更快.
