文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

分析SQL执行时间及查询执行计划(附数据库和一千万数据)

2024-12-03 15:10

关注

 我们干开发面试工作的时候,发现对数据库的面试比重很大。说明对数据库的知识掌握对我们程序员越来越重要了。接下来这篇文章我们来看看如何分析我们的sql执行效率。首先找到执行慢的sql,然后对执行慢的SQL进行分析。

一 准备数据

在分析之前是不是有这样的困惑,我的数据量这么少。我如何分析SQL执行效率。不要慌,我们已准备了一千万条数据。接下来看看如何将这一千万条数据快速导入到数据库中。

1. 创建表和导入一千万条数据

表和数据地址(gitee) https://gitee.com/flowerAndJava/millions_data


2. 大批量数据导入数据

a 将数据库导入服务器中(如果是windows系统,这步省略)

b 创建一个数据库

  1. 创建数据库(db2),表tb_sku 

c 命令行登录数据库

  1. mysql -u 用户名 -p 密码 ; 

d 切换到使用的数据库

  1. use db2; 

e 使用命令

  1. load data local infile '/tmp/tb_sku1.sql' into table `tb_sku` fields terminated by ',' lines terminated by '\n'

对命令解释: '/tmp/tb_sku1.sql' 数据的目录(windows目录例如:D:\life\tb_sku1.sql),tb_sku 要导入到的表。

 

 

 

注意

我们之前使用insert的sql将数据导入到数据库中,但是往库中导入上千万数据会需要很久时间。

二 慢查询分析(查找执行时间长的sql)

2.1 show profiles

show profiles是mysql提供可以用来分析当前会话中语句执行的资源消耗情 况。可以用来SQL的调优测量。

2.1.1 设置MySQL支持profile

查看是否支持

  1. select @@have_profiling 

 

结果为YES,代表支持。

查看profiling(profiling默认是关闭的)

  1. select @@profiling 

 

结果为0,代表没有开启

开启profiling

  1. set profiling=1;  

2.1.2 show profiles的使用

输入一系列查询语句

  1. show databases; 
  2. use db01; 
  3. show tables; 
  4. select * from tb_ksu where id < 5; 
  5. select count(*) from tb_ksu; 

查看没一条SQL执行时间

  1. show profiles;    //如果执行没有反应,查看profiling是否开启了,命令为select @@profiling;  

 

查看没每一条sql执行时间。

查询每一条sql每个阶段执行时间

  1. select profile for query 6;   //6,代表Query_ID 

 

上图解释

  1. Sending data MySQL线程开始访问数据行并把结果返回给客户端,而不仅仅是 
  2. 返回给客户端。在Sending data状态下,MySQL线程往往进行大量的磁盘读取 
  3. 操作,所以在查询中最耗时的状态。 

查看线程在什么资源上耗费过高 (类型 all、cpu、block io 、context、switch、page faults)

  1. show profile cpu for query 7; 

 

上图说明


2.2 慢查询日志

慢查询日志记录了所有执行时间超过参数(long_query_time)设置值并且扫描 记录数不少于min_examined_row_limit,的所有SQL日志。long_query_time默 认为10秒,最小为0,精度可以到微秒。

2.2.1 设置慢查询日志

修改配置文件(慢查询日志默认关闭的) 修改配置文件命令 vi /etc/my.cnf 然后在配置文件最下方加入下面配置

  1. # 该参数用来控制慢查询日志是否开启,可取值:1和0,1代表开启,0代表关闭 
  2. slow_query_log=1 
  3. #该参数用来指定慢查询日志的文件名 
  4. slow_query_log_file=slow_query.log 
  5. #该选项用来配置查询的时间限制, 超过这个时间将认为是慢查询, 将进行日志记录, 默认10s 
  6. long_query_time=10 

重启mysql服务

  1. service mysqld restart 

备注

如果执行命令报如下错误


请使用命令 systemctl restart mysqld.service

查看慢查询日志目录

  1. cd /var/lib/mysql 

2.2 日志读取

查询long_query_time的值

  1. show variables like 'long%'

 

执行查询操作

  1. select * from tb_sku where id = '100000030074'\G; 
  2. select * from tb_sku where name like '%HuaWei手机Meta87384 Pro%'\G; 

查询慢查询日志

a 使用cat


b 如果慢查询日志很多,借助借助于mysql自带的mysqldumpslow工具,进行分类汇总

 

三 explain执行计划、索引使用和SQL优化

通过以上步骤查询到效率低的SQL语句后,可以通过EXPLAIN命令获取Mysql如何执行Select语句信息,包含select语句执行过程中表如何连接和连接的顺序。

3.1 执行explain命令,进行分析

  1. explain select * from tb_sku where id = '100000030074'

 

  1. explain select * from tb_sku where name like '%HuaWei 手机Meta87384 Pro%'

 

执行计划字段解释


3.2 对字段取值解释

id

  1. A. id 相同表示加载表的顺序是从上到下。 
  2. B. id 不同id值越大,优先级越高,越先被执行。 
  3. C. id 有相同,也有不同,同时存在。id相同的可以认为是一组,从上往下顺序执行;在所有的组中,id的值越大,优先级越高,越先执行。 

select_type


type

 

结果由好到坏

  1. NULL > system > const > eq_ref > ref > fulltext > ref_or_null > index_merge >unique_subquery > index_subquery > range > index > ALL 
  2.  
  3. system > const > eq_ref > ref > range > index > ALL 

key

  1. A. possible_keys : 显示可能应用在这张表的索引, 一个或多个。 
  2. B. key : 实际使用的索引, 如果为NULL, 则没有使用索引。 
  3. C. key_len : 表示索引中使用的字节数, 该值为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下, 长度越短越好 。 

rows

  1. 扫描行的数量。 

filtered

  1. 这个字段表示存储引擎返回的数据在server层过滤后,剩下多少满足查询的记录数量的比例。 

总结这篇文章可以分为三个点。

1 往数据库导入一千万数据,查看上面文章,按照步骤操作没有任何问题。

2 查找慢查询语句,查看慢查询日志。按照命令执行就好

3 对sql执行进行分析,查看sql是否使用索引和执行效率。

 

来源:花花和Java内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯