- 一.InnoDB索引
- 二.B+树
- 三.聚集索引和辅助索引
- 四.索引实战
- 五.索引操作与规则
- 重建索引
- 索引覆盖
- 最左前缀原则
- 索引下推
- 用索引和用索引快速定位却别
- 六.普通索引和唯一索引如何选择
- 前提
- 普通索引和唯一索引下的查询
- 普通索引和唯一索引下的更新
- change buffer
- 使用change buffer
- 更新流程
- change buffer使用场景
- change buffer和 redo log
- 插入过程
- 查询过程
- 七.给字符串加索引
- 给字符串加索引的方式
- 完整索引和前缀索引的分析
- 前缀索引对覆盖索引的影响
- 倒序存储和hash字段分析
- 八.mysql选错索引原因及处理方法
- 现象
- 优化器选择索引逻辑
- 索引选择异常及处理
- 九.mysql对索引字段进行函数操作导致不走索引搜索树功能
- 条件字段做函数操作
- 隐式类型转换
- 隐式字符编码转换
InnoDB支持以下几种索引:
- B+树索引
- 全文索引
- 哈希索引
本文将着重介绍B+树索引。其他两个全文索引和哈希索引只是做简单介绍一笔带过。
哈希索引是自适应的,也就是说这个不能人为干预在一张表生成哈希索引,InnoDB会根据这张表的使用情况来自动生成。
全文索引是将存在数据库的整本书的任意内容信息查找出来的技术,InnoDB从1.2.x版本支持。每张表只能有一个全文检索的索引。
B+树索引是传统意义上的索引,B+树索引并不能根据键值找到具体的行数据,B+树索引只能找到行数据所在的页,然后通过把页读到内存,再在内存中查找到行数据。B+树索引也是最常用的最为频繁使用的索引。
前提
叶子节点: 没有子节点的节点
非叶子节点: 有子节点的节点
概念
B+树是一种平衡查找树,其实先想想看为什么要用平衡查找树,不用二叉树?普通的二叉树可能因为插入的数据最后变成一个很长的链表,怎么能提高搜索的速度呢?你可以想想,为什么HashMap和ConcurrentHashMap在JDK8的时候,当链表大于8的时候把链表转成红黑树(红黑树也是平衡查找树)。技术思维是想通的,那么答案无非是加快速度,性能咯。
一个B+树有以下特征:
- 有n个子树的中间节点包含n个元素,每个元素不保存数据,只用来索引,所有数据都保存在叶子节点。
- 所有叶子节点包含元素的信息以及指向记录的指针,且叶子节点按关键字自小到大顺序链接。
- 所有的中间节点元素都同时存在于子节点,在子节点元素中是最大(或最小)元素。
那么我们先来看一个B+树的图
所有的数据都在叶子节点,且每一个叶子节点都带有指向下一个节点的指针,形成了一个有序的链表。为什么要有序呢?其实是为了范围查询。比如说select * from Table where id > 1 and id < 100; 当找到1后,只需顺着节点和指针顺序遍历就可以一次性访问到所有数据节点,极大提到了区间查询效率。是不是范围查询的话hash就搞不定这个事情了?以下为B+树的优势:
- 单一节点存储更多元素,减少IO
- 所有查询都要找到叶子节点,查询稳定
- 所有叶子节点形成有序链表,方便范围查询
一般性情况,数据库的B+树的高度一般在2~4层,这就是说找到某一键值的行记录最多需要2到4次逻辑IO,相当于0.02到0.04s。
聚集索引(聚簇索引)
聚集索引是按表的主键构造的B+树,叶子节点存放的为整张表的行记录数据,每张表只能有一个聚集索引。优化器更倾向采用聚集索引。因为直接就能获取行数据。
请选择自增id来做主键,不要非空UK列。避免大量分页碎片。下面来看一个聚集索引的图:
那么很简单了,每个叶子节点,都存有完整的行记录。对于主键的查找速度那是相当的快,美滋滋。
辅助索引
辅助索引也叫非聚集索引,叶子节点除了键值以外还包含了一个bookmark,用来告诉InnoDB在哪里可以找到对应的行数据,InnoDB的辅助索引的bookmark就是相对应行数据的聚集索引键。也就是先获取指向主键索引的主键,然后通过主键索引来找到一个完整的行。如果辅助索引的树和聚集索引的树的高度都是3,如果不是走主键索引走辅助索引的话,那么需要6次逻辑IO访问得到最终的数据页。辅助索引和聚集索引的概念关系图如下:
基于主键索引和普通索引的查询有什么区别?
- 如果语句是 select * from T where ID=500,即主键查询方式,则只需要搜索 ID 这棵 B+ 树;
- 如果语句是 select * from T where k=5,即普通索引查询方式,则需要先搜索 k 索引 树,得到 ID 的值为 500,再到 ID 索引树搜索一次。这个过程称为回表。
设计索引
设计索引的时候,无论是组合索引还是普通索引等。一般经验是,选择经常被用来过滤记录的字段,高选择性,高区分性。别把性别字段设计索引,性别属于低选择性的。你可以选择名字嘛,你好我大名叫苗嘉杏:)
知道加索引快,但是也别乱加索引,插入以及更新索引的操作InnoDB都会维护B+树的,多加很多索引只会导致效率降低!
不要用重复的索引,比如有个联合索引是a,b,你又整个a列的普通索引。那不是搞事么?
不要在索引上用函数和like
一颗聚集索引B+树可以放多少行数据?
这里我们先假设B+树高为2,即存在一个根节点和若干个叶子节点,那么这棵B+树的存放总记录数为:根节点指针数*单个叶子节点记录行数。假设一行记录的数据大小为1k,那么单个叶子节点(页)中的记录数=16K/1K=16。
那么现在我们需要计算出非叶子节点能存放多少指针,我们假设主键ID为bigint类型,长度为8字节,而指针大小在InnoDB源码中设置为6字节,这样一共14字节,我们一个页中能存放多少这样的单元,其实就代表有多少指针,页大小默认16K,即16kb/14b=1170。那么可以算出一棵高度为2的B+树,大概能存放1170*16=18720条这样的数据记录。
根据同样的原理我们可以算出一个高度为3的B+树大概可以存放:1170*1170*16=21902400行数据。所以在InnoDB中B+树高度一般为1-3层,它就能满足千万级的数据存储。在查找数据时一次页的查找代表一次IO,所以通过主键索引查询通常只需要1-3次逻辑IO操作即可查找到数据。
Cardinality值
如何判断一个索引建立的是否好呢?可以用show index from指令查看Cardinality值,这个值是一个预估值,而不是一个准确值。每次对Cardinality值的统计都是随机取8个叶子节点得到的。
对于innodb来说,达到以下2点就会重新计算cardinality
- 如果表中1/16的数据发生变化
- 如果stat_modified_counter>200 000 0000
实际应用中,(Cardinality/行数)应该尽量接近1。如果非常小则要考虑是否需要此索引。实战一下,比如有一张表,我们来show index一下
mysql> show index from Order;
+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Table | Non_unique | Key_name | Seq_in_index | Column_name | Collation | Cardinality | Sub_part | Packed | Null | Index_type | Comment | Index_comment |
+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
| Order | 0 | PRIMARY | 1 | id | A | 99552 | NULL | NULL | | BTREE | | |
| Order | 1 | IDX_orderId | 1 | orderId | A | 96697 | NULL | NULL | | BTREE | | |
| Order | 1 | IDX_productId | 1 | productId | A | 52 | NULL | NULL | | BTREE | | |
+---------+------------+------------------+--------------+-------------+-----------+-------------+----------+--------+------+------------+---------+---------------+
rows in set (0.00 sec)
那么可以看到IDX_productId这个索引的Cardinality比较低。
需要强制刷新Cardinality值的话可以用:
analyze local table xxx;
重建索引
重建普通索引
alter table T drop index k;
alter table T add index(k);
重建主键索引
可行:
alter table T engine=InnoDB
不可行:
alter table T drop primary key;
alter table T add primary key(id);
覆盖索引
ID为主键索引,k为普通索引.
如果执行的语句是 select ID from T where k between 3 and 5,这时只需要查 ID 的 值,而 ID 的值已经在 k 索引树上了,因此可以直接提供查询结果,不需要回表。也就是 说,在这个查询里面,索引 k 已经“覆盖了”我们的查询需求,我们称为覆盖索引。
由于覆盖索引可以减少树的搜索次数,显著提升查询性能,所以使用覆盖索引是一个常用的性能优化手段。
最左前缀原则
B+ 树这种索引结构,可以利用索引的“最左前缀”,来定位 记录。
(name,age,sex)利用最左前缀可以实现以下的索引(name)(name,age)(name,age,sex))
在建立联合索引的时候,如何安 排索引内的字段顺序。
第一原则是,如果通过调整顺序,可以少维护一个索引,那么这个顺序往往就是需要优先考虑采用的。
第二,考虑的原则就是空间
比如:name 字段是比 age 字段大的 ,那我就建议你创建一个(name,age) 的联合索引和一个 (age) 的单字段 索引。这样比(age,name)(name)占用空间少
索引下推
联合索引(name, age)为例
mysql> select * from tuser where name like "张 %" and age=10 and ismale=1;
已经知道了最左前缀索引规则,所以这个语句在搜索索引树的时候,只能用索引name来搜索 “张”,age是没法用的,因为"zhang%"查询的是一个范围.
MySQL 5.6 引入的索引下推优化(index condition pushdown), 可以在索引遍历过 程中,对索引中包含的字段先做判断,直接过滤掉不满足条件的记录,减少回表次数。
用索引和用索引快速定位却别
前提
- 表格260万数据
- id自增主键
- Account普通索引
- (Account,Cmd)联合索引
- 其实按照最左前缀原则Account普通索引与(Account,Cmd)联合索引,只保留(Account,Cmd)联合索引即可,因为通过(Account,Cmd)联合索引也可以对Account进行索引. 此处都保留是想测试,如果两者都存在的某些情况下,优化器如何选择
EXPLAIN SELECT id from mt4order WHERE Account like "1";
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | range | account索引,account_cmd索引 | account索引 | 768 | NULL | 1 | 100.00 | Using where; Using index |
EXPLAIN SELECT id from mt4order WHERE Account like "1%";
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | range | account索引,account_cmd索引 | account索引 | 768 | NULL | 1716 | Using where; Using index, |
EXPLAIN SELECT id from mt4order WHERE Account like "%1%";
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | index | NULL | account索引 | 768 | NULL | 2649814 | 11.11 | Using where; Using index |
EXPLAIN SELECT id from mt4order WHERE Account like "%1";
id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
---|---|---|---|---|---|---|---|---|---|---|---|
1 | SIMPLE | mt4order | NULL | index | NULL | account索引 | 768 | NULL | 2649814 | 11.11 | Using where; Using index |
总结:
- 第一个使用account索引快速定位到一行数据,extra为Using where; Using index,说明优先使用索引中覆盖索引获取了id信息,避免了回表(使用索引,并且使用索引快速查找)
- 第二个使用account索引快速定位,但是因为后面包含一个%,所以按照最左前缀原则,对"1%"中的"1"进行索引快速查找,查询了1716行数据,extra为Using where; Using index,说明优先使用索引中覆盖索引获取了id信息,避免了回表 (使用索引,并且使用索引快速查找)
- 第三个有使用account索引,因为是"%1%"是范围查找,所以在account索引树上进行了全面的查找,扫描了2649814行数据,extra中为Using where; Using index,此时只是使用了索引和覆盖索引避免了回表,但是没有使用索引快速定位查找,因为基于account索引扫描了全部的行(使用索引,没有使用索引快速查找)
- 第四个有使用account索引,因为是"%1"是范围查找,所以在account索引树上进行了全面的查找,扫描了2649814行数据,extra中为Using where; Using index,此时只是使用了索引和覆盖索引避免了回表,但是没有使用索引快速定位查找,因为基于account索引扫描了全部的行(使用索引,没有使用索引快速查找)
前提条件
普通索引和唯一索引下的查询
执行查询的语句是 select id from T where k=5。
对于普通索引来说,查找到满足条件的第一个记录 (5,500) 后,需要查找下一个记录,直到碰到第一个不满足 k=5 条件的记录。
对于唯一索引来说,由于索引定义了唯一性,查找到第一个满足条件的记录后,就会停止继续检索。
这个不同带来的性能差距会有多少呢?答案是,微乎其微。
InnoDB 的数据是按数据页为单位来读写的。也就是说,当需要读一条记录的 时候,并不是将这个记录本身从磁盘读出来,而是以页为单位,将其整体读入内存。在 InnoDB 中,每个数据页的大小默认是 16KB。
所以说,当找到 k=5 的记录的时候,它所在的数据页就都在内存 里了。那么,对于普通索引来说,要多做的那一次“查找和判断下一条记录”的操作,就 只需要一次指针寻找和一次计算。
如果 k=5 这个记录刚好是这个数据页的最后一个记录,那么要取下一个记录,必须 读取下一个数据页,这个操作会稍微复杂一些。但是,我们之前计算过,对于整型字段,一个数据页可以放近千个 key,因此出现这种情 况的概率会很低。
所以,我们计算平均性能差异时,仍可以认为这个操作成本对于现在的 CPU 来说可以忽略不计。
普通索引和唯一索引下的更新
change buffer
- 当需要更新一个数据页时,如果数据页在内存中就直接更新,
- 而如果这个数据页还没有在 内存中的话,在不影响数据一致性的前提下,InooDB 会将这些更新操作缓存在 change buffer 中,这样就不需要从磁盘中读入这个数据页了。
- 在下次查询需要访问这个数据页的 时候,将数据页读入内存,然后执行 change buffer 中与这个页有关的操作。将 change buffer 中的操作应用到原数据页,得到最新结果的过程称为 merge。除了访 问这个数据页会触发 merge 外,系统有后台线程会定期 merge。在数据库正常关闭 (shutdown)的过程中,也会执行 merge 操作。
- 虽然名字叫作 change buffer,实际上它是可以持久化的数据。也就是 说,change buffer 在内存中有拷贝,也会被写入到磁盘上。
- 显然,如果能够将更新操作先记录在 change buffer,减少读磁盘,语句的执行速度会得 到明显的提升。而且,数据读入内存是需要占用 buffer pool 的,所以这种方式还能够避 免占用内存,提高内存利用率。
使用change buffer
只有普通索引才能使用change buffer,唯一索引不能使用
change buffer 用的是 buffer pool 里的内存,因此不能无限增大。
change buffer 的大 小,可以通过参数 innodb_change_buffer_max_size 来动态设置。这个参数设置为 50 的时候,表示 change buffer 的大小最多只能占用 buffer pool 的 50%。
更新流程
- 第一种情况是,这个记录要更新的目标页在内存中。
- 对于唯一索引来说,找到 3 和 5 之间的位置,判断到没有冲突,插入这个值,语句执行结束;
- 对于普通索引来说,找到 3 和 5 之间的位置,插入这个值,语句执行结束。
- 普通索引和唯一索引对更新语句性能影响的差别,只是一个判断,只会耗费微 小的 CPU 时间。
- 第二种情况是,这个记录要更新的目标页不在内存中。
- 对于唯一索引来说,需要将数据页读入内存,判断到没有冲突,插入这个值,语句执行结束;
- 对于普通索引来说,则是将更新记录在 change buffer,语句执行就结束了。
- 将数据从磁盘读入内存涉及随机 IO 的访问,是数据库里面成本最高的操作之一。change buffer 因为减少了随机磁盘访问,所以对更新性能的提升是会很明显的。
change buffer使用场景
- 对于写多读少的业务来说,页面在写完以后马上被访问到的概率比较小,此时 change buffer 的使用效果最好。这种业务模型常见的就是账单类、日志类的系统。
- 反过来,假设一个业务的更新模式是写入之后马上会做查询,那么即使满足了条件,将更 新先记录在 change buffer,但之后由于马上要访问这个数据页,会立即触发 merge 过 程。这样随机访问 IO 的次数不会减少,反而增加了 change buffer 的维护代价。所以, 对于这种业务模式来说,change buffer 反而起到了副作用。
- 如果所有的更新后面,都马上伴随着对这个记录的查询,那么你应该关闭 change buffer。
- 在使用机械硬盘时,尽量使用普通索引,然后把 change buffer 尽量开大,以确保这个“历 史数据”表的数据写入速度。
change buffer和 redo log
插入过程
假设: 当前 k 索引树的状态,查找到位置后,k1 所在的数据页在内存 (InnoDB buffer pool) 中,k2 所在的数据页不在内存中
在上面表的前提下执行下面语句: mysql> insert into t(id,k) values(id1,k1),(id2,k2);
分析这条更新语句,你会发现它涉及了四个部分:内存、redo log(ib_log_fileX)、 数据表空间(t.ibd)、系统表空间(ibdata1)。
这条更新语句做了如下的操作(按照图中的数字顺序):
- Page 1 在内存中,直接更新内存;
- Page 2 没有在内存中,就在内存的 change buffer 区域,记录下“我要往 Page 2 插
入一行”这个信息 - 将上述两个动作记入 redo log 中(图中 3 和 4)。
做完上面这些,事务就可以完成了。
所以,你会看到,执行这条更新语句的成本很低,就是写了两处内存,然后写了一处磁盘(两次操作合在一起写了一次磁盘,redo log),而且还是顺序写的。
同时,图中的两个虚线箭头,是后台操作,不影响更新的响应时间。
查询过程
如果读语句发生在更新语句后不久,内存中的数据都还在,那么此时的这两个读操作就与 系统表空间(ibdata1)和 redo log(ib_log_fileX)无关了。所以,我在图中就没画出 这两部分。
要执行 select * from t where k in (k1, k2)
读 Page 1 的时候,直接从内存返回。有几位同学在前面文章的评论中问到,WAL 之后 如果读数据,是不是一定要读盘,是不是一定要从 redo log 里面把数据更新以后才可以返回?其实是不用的。你可以看一下图 3 的这个状态,虽然磁盘上还是之前的数据, 但是这里直接从内存返回结果,结果是正确的。
要读 Page 2 的时候,需要把 Page 2 从磁盘读入内存中,然后应用 change buffer 里 面的操作日志,生成一个正确的版本并返回结果。
可以看到,直到需要读 Page 2 的时候,这个数据页才会被读入内存。
redo log 主要节省的是随机写磁盘的 IO 消耗(转成顺序写),而 change buffer 主要节省的则是随机读磁盘 的 IO 消耗。
字符串字段增加索引的方式
- 直接创建完整索引,这样可能比较占用空间;
- 创建前缀索引,节省空间,但会增加查询扫描次数,并且不能使用覆盖索引;
- 倒序存储,再创建前缀索引,用于绕过字符串本身前缀的区分度不够的问题,不能使用覆盖索引,不支持范围扫描;
- 创建 hash 字段索引,查询性能稳定,有额外的存储和计算消耗,跟第三种方式一样,不能使用覆盖索引,都不支持范围扫描。
第一二种分析
完整索引和前缀索引的分析
你现在维护一个支持邮箱登录的系统,用户表是这么定义的:
mysql> create table SUser(
ID bigint unsigned primary key,
email varchar(64),
...
)engine=innodb;
由于要使用邮箱登录,所以业务代码中一定会出现类似于这样的语句:
mysql> select f1, f2 from SUser where email='xxx';
分别创建两种索引
mysql> alter table SUser add index index1(email);
或
mysql> alter table SUser add index index2(email(6));
第一个语句创建的 index1 索引里面,包含了每个记录的整个字符串;
而第二个语句创建 的 index2 索引里面,对于每个记录都是只取前 6 个字节。
占用的空间会更小,这就是使用前缀索引的优势
加入执行下面的sql语句,两种索引该如何执行
select id,name,email from SUser where email='zhangssxyz@xxx.com';
完整索引
- 从 index1 索引树找到满足索引值是’zhangssxyz@xxx.com’的这条记录,取得 ID2 的值;
- 到主键上查到主键值是 ID2 的行,判断 email 的值是正确的,将这行记录加入结果集; (为什么还要判断email的正确性,这个是server 层的行为,以防email字段返回的值不对, 其实反正肯定要读入数据,顺手判断一下, 这个成本也并不大就是了)
- 取 index1 索引树上刚刚查到的位置的下一条记录,发现已经不满足 email="zhangssxyz@xxx.com’的条件了,循环结束。
- 这个过程中,只需要回主键索引取一次数据,所以系统认为只扫描了一行。
前缀索引
- 从 index2 索引树找到满足索引值是’zhangs’的记录,找到的第一个是 ID1;
- 到主键上查到主键值是 ID1 的行,判断出 email 的值不 是’zhangssxyz@xxx.com’,这行记录丢弃;
- 取 index2 上刚刚查到的位置的下一条记录,发现仍然是’zhangs’,取出 ID2,再到 ID 索引上取整行然后判断,这次值对了,将这行记录加入结果集;
- 重复上一步,直到在 idxe2 上取到的值不是’zhangs’时,循环结束。
- 在这个过程中,要回主键索引取 4 次数据,也就是扫描了 4 行。
对比结果
- 通过这个对比,你很容易就可以发现,使用前缀索引后,可能会导致查询语句读数据的次数变多。
- 但是,对于这个查询语句来说,如果你定义的 index2 不是 email(6) 而是 email(7),也 就是说取 email 字段的前 7 个字节来构建索引的话,即满足前缀’zhangss’的记录只有 一个,也能够直接查到 ID2,只扫描一行就结束了。
- 也就是说使用前缀索引,定义好长度,就可以做到既节省空间,又不用额外增加太多的查 询成本。
使用前缀索引,如何确定应该使用多长的前缀
我们在建立索引时关注的是区分度,区分度越高越好。因为区分度越高,意味着重复的键值越少。
依次选取不同长度的前缀来看这个值,比如我们要看一下 4~7 个字节的前缀索引, 可以用这个语句:
mysql> select count(distinct left(email,4))as L4, count(distinct left(email,5))as L5, count(distinct left(email,6))as L6, count(distinct left(email,7))as L7, from SUser;
使用前缀索引很可能会损失区分度,所以你需要预先设定一个可以接受的损失比 例,比如 5%。然后,在返回的 L4~L7 中,找出不小于 L * 95% 的值,假设这里 L6、L7 都满足,你就可以选择前缀长度为 6。
前缀索引对覆盖索引的影响
select id,email from SUser where email="zhangssxyz@xxx.com";
如果使用 index1(即 email 整个字符串的索引结构)的话,可以利用覆盖索引, 从 index1 查到结果后直接就返回了,不需要回到 ID 索引再去查一次。而如果使用 index2(即 email(6) 索引结构)的话,就不得不回到 ID 索引再去判断 email 字段的值。
即使你将 index2 的定义修改为 email(18) 的前缀索引,这时候虽然 index2 已经包含了 所有的信息,但 InnoDB 还是要回到 id 索引再查一下,因为系统并不确定前缀索引的定义 是否截断了完整信息。
结论: 前缀索引无法使用覆盖索引
其他方式使用前缀索引
比如,我们国家的身份证号,一共 18 位,其中前 6 位是地址码,所以同一个县的人的身 份证号前 6 位一般会是相同的。
假设你维护的数据库是一个市的公民信息系统,这时候如果对身份证号做长度为 6 的前缀 索引的话,这个索引的区分度就非常低了。
方法三: 使用倒序存储
如果你存储身份证号的时候把它倒过来存,每次查询的时 候,你可以这么写:
mysql> select field_list from t where id_card = reverse('input_id_card_string');
由于身份证号的最后 6 位没有地址码这样的重复逻辑,所以最后这 6 位很可能就提供了足 够的区分度。当然了,实践中你不要忘记使用 count(distinct) 方法去做个验证。
方法四: 使用 hash 字段
可以在表上再创建一个整数字段,来保存身份证的校验 码,同时在这个字段上创建索引。
mysql> alter table t add id_card_crc int unsigned, add index(id_card_crc);
然后每次插入新记录的时候,都同时用 crc32() 这个函数得到校验码填到这个新字段。
由于校验码可能存在冲突,也就是说两个不同的身份证号通过 crc32() 函数得到的结果可能是相同的,所以你的查询语句 where 部分要判断 id_card 的值是否精确相同。
mysql> select field_list from t where id_card_crc=crc32('input_id_card_string') and id_card='****'
这样,索引的长度变成了 4 个字节,比原来小了很多。
第三种和第四种的异同点
相同点
- 都不支持范围查询。倒序存储的字段上创建的索引是按照倒序字 符串的方式排序的,已经没有办法利用索引方式查出身份证号码在 [ID_X, ID_Y] 的所有市 民了。同样地,hash 字段的方式也只能支持等值查询。
不同点
从占用的额外空间来看,倒序存储方式在主键索引上,不会消耗额外的存储空间,而 hash 字段方法需要增加一个字段。当然,倒序存储方式使用 4 个字节的前缀长度应该 是不够的,如果再长一点,这个消耗跟额外这个 hash 字段也差不多抵消了。
在 CPU 消耗方面,倒序方式每次写和读的时候,都需要额外调用一次 reverse 函数, 而 hash 字段的方式需要额外调用一次 crc32() 函数。如果只从这两个函数的计算复杂 度来看的话,reverse 函数额外消耗的 CPU 资源会更小些。
从查询效率上看,使用 hash 字段方式的查询性能相对更稳定一些。因为 crc32 算出来 的值虽然有冲突的概率,但是概率非常小,可以认为每次查询的平均扫描行数接近 1。 而倒序存储方式毕竟还是用的前缀索引的方式,也就是说还是会增加扫描行数。
现象
应该使用某个索引的时候,但是却使用了别的索引或者没有使用索引
优化器选择索引逻辑
- 扫描的行数
- 否使用临时表
- 是否排序
索引选择异常和处理
一种方法是,采用 force index 强行选择一个索引。
# a是索引 select * from t force index(a) where a between 10000 and 20000;
第二种方法就是,我们可以考虑 修改语句,引导 MySQL 使用我们期望的索引。
第三种方法是,在有些场景下,我们可以新建一个更合适的索引,来提供给优化器做选择,或删掉误用的索引。
1.条件字段做函数操作
①.现象
假设你现在维护了一个交易系统,其中交易记录表 tradelog 包含交易流水号 (tradeid)、交易员 id(operator)、交易时间(t_modified)等字段。为了便于描 述,我们先忽略其他字段。这个表的建表语句如下:
CREATE TABLE
tradelog
(
id
int(11) NOT NULL,
tradeid
varchar(32) DEFAULT NULL,
operator
int(11) DEFAULT NULL,
t_modified
datetime DEFAULT NULL,PRIMARY KEY (
id
),KEY
tradeid
(tradeid
),
KEYt_modified
(t_modified
))ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
假设,现在已经记录了从 2016 年初到 2018 年底的所有数据,运营部门有一个需求是, 要统计发生在所有年份中 7 月份的交易记录总数。这个逻辑看上去并不复杂,你的 SQL 语句可能会这么写:
mysql> select count(*) from tradelog where month(t_modified)=7;
由于 t_modified 字段上有索引,于是你就很放心地在生产库中执行了这条语句,但却发现执行了特别久,才返回了结果。
如果你问 DBA 同事为什么会出现这样的情况,他大概会告诉你:如果对字段做了函数计 算,就用不上索引了,这是 MySQL 的规定。
②.原因
现在你已经学过了 InnoDB 的索引结构了,可以再追问一句为什么?为什么条件是 where t_modified="2018-7-1’的时候可以用上索引,而改成 where month(t_modified)=7 的时候就不行了?
下面是这个 t_modified 索引的示意图。方框上面的数字就是 month() 函数对应的值。
如果你的 SQL 语句条件用的是 where t_modified="2018-7-1’的话,引擎就会按照上面 绿色箭头的路线,快速定位到 t_modified="2018-7-1’需要的结果。
实际上,B+ 树提供的这个快速定位能力,来源于同一层兄弟节点的有序性。
但是,如果计算 month() 函数的话,你会看到传入 7 的时候,在树的第一层就不知道该怎 么办了。
也就是说,对索引字段做函数操作,可能会破坏索引值的有序性,因此优化器就决定放弃 走树搜索功能。
需要注意的是,优化器并不是要放弃使用这个索引。
在这个例子里,放弃了树搜索功能,优化器可以选择遍历主键索引,也可以选择遍历索引 t_modified,优化器对比索引大小后发现,索引 t_modified 更小,遍历这个索引比遍历 主键索引来得更快。因此最终还是会选择索引 t_modified。
接下来,我们使用 explain 命令,查看一下这条 SQL 语句的执行结果。
key="t_modified"表示的是,使用了 t_modified 这个索引;我在测试表数据中插入了 10 万行数据,rows=100335,说明这条语句扫描了整个索引的所有值;Extra 字段的 Using index,表示的是使用了覆盖索引。
③.解决方法
由于在 t_modified 字段加了 month() 函数操作,导致了全索引扫描。为了能 够用上索引的快速定位能力,我们就要把 SQL 语句改成基于字段本身的范围查询。按照下 面这个写法,优化器就能按照我们预期的,用上 t_modified 索引的快速定位能力了。
select count(*) from tradelog where
(t_modified >= "2016-7-1" and t_modified<"2016-8-1") or
(t_modified >= "2017-7-1" and t_modified<"2017-8-1") or
(t_modified >= "2018-7-1" and t_modified<"2018-8-1");
当然,如果你的系统上线时间更早,或者后面又插入了之后年份的数据的话,你就需要再把其他年份补齐。
到这里我给你说明了,由于加了 month() 函数操作,MySQL 无法再使用索引快速定位功 能,而只能使用全索引扫描。
不过优化器在个问题上确实有“偷懒”行为,即使是对于不改变有序性的函数,也不会考虑使用索引。比如,对于 select * from tradelog where id + 1 = 10000 这个 SQL 语 句,这个加 1 操作并不会改变有序性,但是 MySQL 优化器还是不能用 id 索引快速定位 到 9999 这一行。所以,需要你在写 SQL 语句的时候,手动改写成 where id = 10000 -1 才可以。
2.隐式类型转换
①.隐式类型转换规则
我们一起看一下这条 SQL 语句:
mysql> select * from tradelog where tradeid=110717;
交易编号 tradeid 这个字段上,本来就有索引,但是 explain 的结果却显示,这条语句需 要走全表扫描。你可能也发现了,tradeid 的字段类型是 varchar(32),而输入的参数却是 整型,所以需要做类型转换。
那么,现在这里就有两个问题:
- 数据类型转换的规则是什么?
- 为什么有数据类型转换,就需要走全索引扫描?
先来看第一个问题,你可能会说,数据库里面类型这么多,这种数据类型转换规则更多,
我记不住,应该怎么办呢?
这里有一个简单的方法,看 select “10” > 9 的结果:
- 如果规则是“将字符串转成数字”,那么就是做数字比较,结果应该是 1;
- 如果规则是“将数字转成字符串”,那么就是做字符串比较,结果应该是 0。
验证结果如图 3 所示。
从图中可知,select “10” > 9 返回的是 1,所以你就能确认 MySQL 里的转换规则了: 在 MySQL 中,字符串和数字做比较的话,是将字符串转换成数字。
②.原因
这时,你再看这个全表扫描的语句:
mysql> select * from tradelog where tradeid=110717;
就知道对于优化器来说,这个语句相当于:
mysql> select * from tradelog where CAST(tradid AS signed int) = 110717;
也就是说,这条语句触发了我们上面说到的规则:对索引字段做函数操作,优化器会放弃走树搜索功能。
3.隐式字符编码转换
①.现象
假设系统里还有另外一个表 trade_detail,用于记录交易的操作细节。为了便于量化分析和复现,我往交易日志表 tradelog 和交易详情表 trade_detail 这两个表里插入一些数 据。
mysql> CREATE TABLE
trade_detail
(
id
int(11) NOT NULL,
tradeid
varchar(32) DEFAULT NULL,
trade step
int(11) DEFAULT NULL,
step_info
varchar(32) DEFAULT NULL,PRIMARY KEY (
id
),KEY
tradeid
(tradeid
)) ENGINE=InnoDB DEFAULT CHARSET=utf8;
insert into tradelog values(1, "aaaaaaaa", 1000, now());
insert into tradelog values(2, "aaaaaaab", 1000, now());
insert into tradelog values(3, "aaaaaaac", 1000, now());
insert into trade_detail values(1, "aaaaaaaa", 1, "add");
insert into trade_detail values(2, "aaaaaaaa", 2, "update");
insert into trade_detail values(3, "aaaaaaaa", 3, "commit");
insert into trade_detail values(4, "aaaaaaab", 1, "add");
insert into trade_detail values(5, "aaaaaaab", 2, "update");
insert into trade_detail values(6, "aaaaaaab", 3, "update again");
insert into trade_detail values(7, "aaaaaaab", 4, "commit");
insert into trade_detail values(8, "aaaaaaac", 1, "add");
insert into trade_detail values(9, "aaaaaaac", 2, "update");
insert into trade_detail values(10, "aaaaaaac", 3, "update again");
insert into trade_detail values(11, "aaaaaaac", 4, "commit");
这时候,如果要查询 id=2 的交易的所有操作步骤信息,SQL 语句可以这么写:
mysql> select d.* from tradelog l, trade_detail d where d.tradeid=l.tradeid and l.id=2;
我们一起来看下这个结果:
- 第一行显示优化器会先在交易记录表 tradelog 上查到 id=2 的行,这个步骤用上了主 键索引,rows=1 表示只扫描一行;
- 第二行 key=NULL,表示没有用上交易详情表 trade_detail 上的 tradeid 索引,进行 了全表扫描。
在这个执行计划里,是从 tradelog 表中取 tradeid 字段,再去 trade_detail 表里查询匹 配字段。因此,我们把 tradelog 称为驱动表,把 trade_detail 称为被驱动表,把 tradeid 称为关联字段。
接下来,我们看下这个 explain 结果表示的执行流程:
图中得执行流程:
- 第 1 步,是根据 id 在 tradelog 表里找到 L2 这一行;
- 第 2 步,是从 L2 中取出 tradeid 字段的值;
- 第 3 步,是根据 tradeid 值到 trade_detail 表中查找条件匹配的行。explain 的结果里 面第二行的 key=NULL 表示的就是,这个过程是通过遍历主键索引的方式,一个一个 地判断 tradeid 的值是否匹配。
进行到这里,你会发现第 3 步不符合我们的预期。因为表 trade_detail 里 tradeid 字段上 是有索引的,我们本来是希望通过使用 tradeid 索引能够快速定位到等值的行。但,这里 并没有。
②.原因
如果你去问 DBA 同学,他们可能会告诉你,因为这两个表的字符集不同,一个是 utf8, 一个是 utf8mb4,所以做表连接查询的时候用不上关联字段的索引。这个回答,也是通常 你搜索这个问题时会得到的答案。
但是你应该再追问一下,为什么字符集不同就用不上索引呢? 我们说问题是出在执行步骤的第 3 步,如果单独把这一步改成 SQL 语句的话,那就是:
mysql> select * from trade_detail where tradeid=$L2.tradeid.value;
其中,$L2.tradeid.value 的字符集是 utf8mb4。
参照前面的两个例子,你肯定就想到了,字符集 utf8mb4 是 utf8 的超集,所以当这两个 类型的字符串在做比较的时候,MySQL 内部的操作是,先把 utf8 字符串转成 utf8mb4 字符集,再做比较。
这个设定很好理解,utf8mb4 是 utf8 的超集。类似地,在程序设计语言里 面,做自动类型转换的时候,为了避免数据在转换过程中由于截断导致数据 错误,也都是“按数据长度增加的方向”进行转换的。
因此, 在执行上面这个语句的时候,需要将被驱动数据表里的字段一个个地转换成 utf8mb4,再跟 L2 做比较。
也就是说,实际上这个语句等同于下面这个写法:
select * from trade_detail where CONVERT(traideid USING utf8mb4)=$L2.tradeid.value;
CONVERT() 函数,在这里的意思是把输入的字符串转成 utf8mb4 字符集。
这就再次触发了我们上面说到的原则:对索引字段做函数操作,优化器会放弃走树搜索功能。到这里,你终于明确了,字符集不同只是条件之一,连接过程中要求在被驱动表的索引字段上加函数操作,是直接导致对被驱动表做全表扫描的原因。
作为对比验证,我给你提另外一个需求,“查找 trade_detail 表里 id=4 的操作,对应的 操作者是谁”,再来看下这个语句和它的执行计划。
mysql>select l.operator from tradelog l , trade_detail d where d.tradeid=l.tradeid and d.id=4;
这个语句里 trade_detail 表成了驱动表,但是 explain 结果的第二行显示,这次的查询操 作用上了被驱动表 tradelog 里的索引 (tradeid),扫描行数是 1。
这也是两个 tradeid 字段的 join 操作,为什么这次能用上被驱动表的 tradeid 索引呢?我 们来分析一下。
假设驱动表 trade_detail 里 id=4 的行记为 R4,那么在连接的时候(图 5 的第 3 步), 被驱动表 tradelog 上执行的就是类似这样的 SQL 语句:
select operator from tradelog where traideid =$R4.tradeid.value;
这时候 $R4.tradeid.value 的字符集是 utf8, 按照字符集转换规则,要转成 utf8mb4,所 以这个过程就被改写成:
select operator from tradelog where traideid =CONVERT($R4.tradeid.value USING utf8mb4);
你看,这里的 CONVERT 函数是加在输入参数上的,这样就可以用上被驱动表的 traideid 索引。
③.解决方法
优化语句的方法:
select d.* from tradelog l, trade_detail d where d.tradeid=l.tradeid and l.id=2;
比较常见的优化方法是,把 trade_detail 表上的 tradeid 字段的字符集也改成 utf8mb4,这样就没有字符集转换的问题了。
alter table trade_detail modify tradeid varchar(32) CHARACTER SET utf8mb4 default null;
修改 SQL 语句的方法
mysql> select d.* from tradelog l , trade_detail d where d.tradeid=CONVERT(l.tradeid USING utf8) and d.id=2;
我主动把 l.tradeid 转成 utf8,就避免了被驱动表上的字符编码转换,从 explain
结果可以看到,这次索引走对了。
站在巨人的肩膀上摘苹果:
https://time.geekbang.org/column/intro/100020801
https://www.cnblogs.com/lonelyxmas/p/10668426.html