濮阳杆衣贸易有限公司

主頁(yè) > 知識(shí)庫(kù) > MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案

MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案

熱門(mén)標(biāo)簽:湖南人工外呼系統(tǒng)多少錢(qián) 信陽(yáng)穩(wěn)定外呼系統(tǒng)運(yùn)營(yíng)商 廣東人工電話(huà)機(jī)器人 南通自動(dòng)外呼系統(tǒng)軟件 石家莊電商外呼系統(tǒng) 申請(qǐng)外呼電話(huà)線(xiàn)路 芒果電話(huà)機(jī)器人自動(dòng)化 日照旅游地圖標(biāo)注 百度地圖圖標(biāo)標(biāo)注中心

在 MySQL 中通常我們使用 limit 來(lái)完成頁(yè)面上的分頁(yè)功能,但是當(dāng)數(shù)據(jù)量達(dá)到一個(gè)很大的值之后,越往后翻頁(yè),接口的響應(yīng)速度就越慢。

本文主要討論 limit 分頁(yè)大偏移量慢的原因及優(yōu)化方案,為了模擬這種情況,下面首先介紹表結(jié)構(gòu)和執(zhí)行的 SQL。

場(chǎng)景模擬

建表語(yǔ)句

user 表的結(jié)構(gòu)比較簡(jiǎn)單,id、sex 和 name,為了讓 SQL 的執(zhí)行時(shí)間變化更加明顯,這里有9個(gè)姓名列。

CREATE TABLE `user` (
 `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主鍵',
 `sex` tinyint(4) NULL DEFAULT NULL COMMENT '性別 0-男 1-女',
 `name1` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name2` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name3` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name4` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name5` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name6` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name7` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name8` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 `name9` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '姓名',
 PRIMARY KEY (`id`) USING BTREE,
 INDEX `sex`(`sex`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 9000001 CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

數(shù)據(jù)填充

這里建立了一個(gè)存儲(chǔ)過(guò)程來(lái)進(jìn)行數(shù)據(jù)的填充,一共9000000條數(shù)據(jù),執(zhí)行完函數(shù)后再執(zhí)行一句SQL,修改性別字段。

ps:這個(gè)函數(shù)執(zhí)行的挺久的,我運(yùn)行了617.284秒。

CREATE DEFINER=`root`@`localhost` PROCEDURE `data`()
begin 
 declare i int; 
 set i=1; 
 while(i=9000000)do 
  insert into user values(i,0,i,i,i,i,i,i,i,i,i);
  set i=i+1; 
 end while;
end

-- 將id為偶數(shù)的user設(shè)置性別為1-女
update user set sex=1 where id%2=0;

SQL與執(zhí)行時(shí)間

SQL 執(zhí)行時(shí)間
select * from user where sex = 1 limit 100, 10; OK, Time: 0.005000s
select * from user where sex = 1 limit 1000, 10; OK, Time: 0.007000s
select * from user where sex = 1 limit 10000, 10; OK, Time: 0.016000s
select * from user where sex = 1 limit 100000, 10; OK, Time: 0.169000s
select * from user where sex = 1 limit 1000000, 10; OK, Time: 5.892000s
select * from user where sex = 1 limit 10000000, 10; OK, Time: 33.465000s

可以看到,limit 的偏移量越大,執(zhí)行時(shí)間越長(zhǎng)。

原因分析

首先來(lái)分析一下這句 SQL 執(zhí)行的過(guò)程,就拿上面表格中的第一行來(lái)舉例。

由于 sex 列是索引列,MySQL會(huì)走 sex 這棵索引樹(shù),命中 sex=1 的數(shù)據(jù)。

然后又由于非聚簇索引中存儲(chǔ)的是主鍵 id 的值,且查詢(xún)語(yǔ)句要求查詢(xún)所有列,所以這里會(huì)發(fā)生一個(gè)回表的情況,在命中 sex 索引樹(shù)中值為1的數(shù)據(jù)后,拿著它葉子節(jié)點(diǎn)上的值也就是主鍵 id 的值去主鍵索引樹(shù)上查詢(xún)這一行其他列(name、sex)的值,最后返回到結(jié)果集中,這樣第一行數(shù)據(jù)就查詢(xún)成功了。

最后這句 SQL 要求limit 100, 10,也就是查詢(xún)第101到110個(gè)數(shù)據(jù),但是 MySQL 會(huì)查詢(xún)前110行,然后將前100行拋棄,最后結(jié)果集中就只剩下了第101到110行,執(zhí)行結(jié)束。

小結(jié)一下,在上述的執(zhí)行過(guò)程中,造成 limit 大偏移量執(zhí)行時(shí)間變久的原因有:

  • 查詢(xún)所有列導(dǎo)致回表
  • limit a, b會(huì)查詢(xún)前a+b條數(shù)據(jù),然后丟棄前a條數(shù)據(jù)

綜合上述兩個(gè)原因,MySQL 花費(fèi)了大量時(shí)間在回表上,而其中a次回表的結(jié)果又不會(huì)出現(xiàn)在結(jié)果集中,這才導(dǎo)致查詢(xún)時(shí)間變得越來(lái)越長(zhǎng)。

優(yōu)化方案

覆蓋索引

既然無(wú)效的回表是導(dǎo)致查詢(xún)變慢的主要原因,那么優(yōu)化方案就主要從減少回表次數(shù)方面入手,假設(shè)在limit a, b中我們首先得到了a+1到a+b條數(shù)據(jù)的id,然后再進(jìn)行回表獲取其他列數(shù)據(jù),那么就減少了a次回表操作,速度肯定會(huì)快上不少。

這里就涉及到覆蓋索引了,所謂的覆蓋索引就是從非主聚簇索引中就能查到的想要數(shù)據(jù),而不需要通過(guò)回表從主鍵索引中查詢(xún)其他列,能夠顯著提升性能。

基于這樣的思路,優(yōu)化方案就是先查詢(xún)得到主鍵id,然后再根據(jù)主鍵id查詢(xún)其他列數(shù)據(jù),優(yōu)化后的 SQL 以及執(zhí)行時(shí)間如下表。

優(yōu)化后的 SQL 執(zhí)行時(shí)間
select * from user a join (select id from user where sex = 1 limit 100, 10) b on a.id=b.id; OK, Time: 0.000000s
select * from user a join (select id from user where sex = 1 limit 1000, 10) b on a.id=b.id; OK, Time: 0.00000s
select * from user a join (select id from user where sex = 1 limit 10000, 10) b on a.id=b.id; OK, Time: 0.002000s
select * from user a join (select id from user where sex = 1 limit 100000, 10) b on a.id=b.id; OK, Time: 0.015000s
select * from user a join (select id from user where sex = 1 limit 1000000, 10) b on a.id=b.id; OK, Time: 0.151000s
select * from user a join (select id from user where sex = 1 limit 10000000, 10) b on a.id=b.id; OK, Time: 1.161000s

果然,執(zhí)行效率得到了顯著提升。

條件過(guò)濾

當(dāng)然還有一種有缺陷的方法是基于排序做條件過(guò)濾。

比如像上面的示例 user 表,我要使用 limit 分頁(yè)得到1000001到1000010條數(shù)據(jù),可以這樣寫(xiě) SQL:

select * from user where sex = 1 and id > (select id from user where sex = 1 limit 1000000, 1) limit 10;

但是使用這樣的方式優(yōu)化是有條件的:主鍵id必須是有序的。在有序的條件下,也可以使用比如創(chuàng)建時(shí)間等其他字段來(lái)代替主鍵id,但是前提是這個(gè)字段是建立了索引的。

總之,使用條件過(guò)濾的方式來(lái)優(yōu)化 limit 是有諸多限制的,一般還是推薦使用覆蓋索引的方式來(lái)優(yōu)化。

小結(jié)

主要分析了 limit 分頁(yè)大偏移量慢的原因,同時(shí)也提出了響應(yīng)的優(yōu)化方案,推薦使用覆蓋索引的方式來(lái)優(yōu)化 limit 分頁(yè)大偏移執(zhí)行時(shí)間久的問(wèn)題。

希望能幫助到大家。

以上就是MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案的詳細(xì)內(nèi)容,更多關(guān)于MySQL limit 分頁(yè)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!

您可能感興趣的文章:
  • MySQL查詢(xún)優(yōu)化:LIMIT 1避免全表掃描提高查詢(xún)效率
  • 為什么MySQL分頁(yè)用limit會(huì)越來(lái)越慢
  • mysql優(yōu)化之query_cache_limit參數(shù)說(shuō)明
  • 詳解Mysql order by與limit混用陷阱
  • mysql分頁(yè)的limit參數(shù)簡(jiǎn)單示例
  • Mysql排序和分頁(yè)(order by&limit)及存在的坑
  • MySQL limit使用方法以及超大分頁(yè)問(wèn)題解決
  • mysql踩坑之limit與sum函數(shù)混合使用問(wèn)題詳解
  • 如何提高M(jìn)ySQL Limit查詢(xún)性能的方法詳解
  • MySQL Limit性能優(yōu)化及分頁(yè)數(shù)據(jù)性能優(yōu)化詳解
  • 淺談mysql使用limit分頁(yè)優(yōu)化方案的實(shí)現(xiàn)
  • MySQL中l(wèi)imit對(duì)查詢(xún)語(yǔ)句性能的影響

標(biāo)簽:惠州 公主嶺 阿里 沈陽(yáng) 天津 牡丹江 呼和浩特 合肥

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案》,本文關(guān)鍵詞  MySQL,limit,分頁(yè),大,偏移量,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問(wèn)題,煩請(qǐng)?zhí)峁┫嚓P(guān)信息告之我們,我們將及時(shí)溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無(wú)關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案》相關(guān)的同類(lèi)信息!
  • 本頁(yè)收集關(guān)于MySQL limit分頁(yè)大偏移量慢的原因及優(yōu)化方案的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    阿拉善左旗| 芒康县| 五大连池市| 济源市| 大悟县| 南川市| 浦江县| 津南区| 瑞丽市| 若羌县| 德格县| 滦平县| 怀远县| 镇雄县| 阿荣旗| 焦作市| 仁化县| 南部县| 锦州市| 红原县| 沐川县| 华池县| 岫岩| 肃南| 朔州市| 屏南县| 青田县| 普兰店市| 浑源县| 宁陕县| 信宜市| 如东县| 灵川县| 桦甸市| 德格县| 乡宁县| 醴陵市| 遵义县| 环江| 丰台区| 侯马市|