MySQL 源代码是基于关系模型理论的具体实现,是数据库理论与实践的结合。
阅读 MySQL 及相关工具的源代码,不仅是数据库研发人员的日常,也是 DBA 进阶的必经之路,全方位提高技术水平。
- 夯实原理: 对数据库基础理论以及事务等相关理论更加深刻的认识;
- 优化性能: 更加深入理解配置项的作用,适配环境,提升性能;
- 定位故障: 有助于数据库故障的快速定位,知其然也知其所以然;
- 拥抱开源: 修改源代码(修改 Bug、完善功能、提升性能),回馈开源。
阅读 MySQL 源代码,主要是指阅读 mysql-server[1] 里面的代码。不仅需要理论知识的深入学习,还需要实际应用上手实践,具体可从以下几个角度着手,从不同维度,不同深度去了解 MySQL 源代码。
1. SQL 执行流程
通过环境调试,从理论基础实践掌握 SQL 语句(DDL/DML 等)完整的执行流程。
2. 结构层次
通过 MySQL 源代码结构层次,掌握底层技术原理。
- 接入层:MySQL 协议、连接线程池等;
- SQL 层:词法、语法解析、执行器、优化器;
- 存储引擎层:插件框架、存储引擎设计原理,例如 InnoDB、RocksDB 架构等。
3. 数据抽象/数据转换
数据库对于使用者展现的是二维的关系表。在阅读源码的时候,可以从数据抽象/数据转换的角度去阅读。
- 数据抽象:二维的关系表在 SQL 层/存储引擎中的数据表现形式
- 数据转换:二维关系表在 SQL 层到存储引擎的数据转换/存储引擎到磁盘的数据转换
4. 功能实现
通过观察数据库中每种具体功能的实现方式,来熟悉 MySQL 源代码。
正所谓:“工欲善其事必先利其器”,阅读源代码必须要阅读 "动" 态的代码,仅看 "静" 态代码必定是枯燥且无用的。那么搭建一个能够调试 MySQL 源代码的环境,则是阅读 MySQL 源代码,实践并掌握 MySQL 技术知识必不可少的过程。
本文介绍使用 CLion 在 Ubuntu 下的调试过程,来实例演示 MySQL 源代码环境的调试过程,即从实践掌握 SQL 执行流程。
CLion 简介
CLion[2] 是一款专门为开发 C 及 C++ 所设计的跨平台 IDE。它包含了插件以及智能功能来帮助开发人员提高开发代码的效率。
环境
- 操作系统:20.04.1-Ubuntu
- CLion 版本: CLion 2021.1.1
- MySQL 版本:8.0.25
编译依赖
apt install libncurses-dev
apt install libssl-dev
apt install cmake
apt-get install bison
*MySQL 8.0.25 依赖 boost 1.73.0 版本[3]
CLion 调试配置
通过 CLion 调试 MySQL 源代码,需将 MySQL 编译路径与 MySQL 安装路径的配置统一。
1. 将下载的源代码放入 home 目录中
2. 解压源代码,并在源代码目录下创建 build 和 /build/data 两个目录
3. 配置 CLion 的 Cmake 的编译目录
4. 配置 CLion 的 Cmake 的编译参数
-DCMAKE_BUILD_TYPE=Debug
-DWITH_BOOST=/home/tool/boost_1_73_0
-DCMAKE_INSTALL_PREFIX=/home/code/mysql-server-mysql-8.0.25/build
#编译路径与安装路径需一致
-DMYSQL_DATADIR=/home/code/mysql-server-mysql-8.0.25/build/data
#数据库初始化路径
-DSYSCONFDIR= home/code/mysql-server-mysql-8.0.25/build
-DMYSQL_UNIX_ADDR=/home/code/mysql-server-mysql-8.0.25/build/data/mysql.sock
5. MySQL 编译
方法一:使用 CLion 直接编译
方法二:手动编译
cd /home/code/mysql-server-mysql-8.0.25/build
make -j 4
说明:由于 CLion 导入 MySQL 源代码时,会在
/home/code/mysql-server-mysql-8.0.25/build
下面生成 makefile,可以直接执行 make 命令。
6. MySQL 数据库初始化
# 创建 MySQL 用户组和 MySQL 用户
groupadd mysql
useradd -r -g mysql -s /bin/false mysql
# MySQL 数据库初始化
cd /home/code/mysql-server-mysql-8.0.25/build/bin
./mysqld --basedir=/home/code/mysql-server-mysql-8.0.25/build
--datadir=/home/code/mysql-server-mysql-8.0.25/build/data
--initialize-insecure --user=mysql
7. 修改文件权限
chmod -R 777 /home/code/mysql-server-mysql-8.0.25/build/data
8. 设置 CLion 的 mysqld 配置参数
Program arguments
参数设置为:
--basedir=/home/code/mysql-server-mysql-8.0.25/build --datadir=/home/code/mysql-server-mysql-8.0.25/build/data --user=mysql
Working directory
参数设置为:
/home/code/mysql-server-mysql-8.0.25/build/data
9. 调试 mysqld
步骤一:启动 mysqld ,并验证 mysqld 是否启动 ps -ef | grep mysql
步骤二:在 sql_parse.cc 中的 do_command
函数加上断点。
步骤三:登录 MySQL ,验证环境是否正常运行。
./mysql -uroot -h127.0.0.1 -P3306 -p
说明:初次登录无需密码,直接回车。初始化时的参数
--initialize-insecure
。
至此 MySQL 源代码调试环境正常运行,可在调试环境上执行相关操作。了解 MySQL 源代码运行机制、实现原理、配置参数作用等。
下一期,我们将使用准备好的环境一起来阅读 MySQL 插件框架部分的源码,尽情期待~
参考
[1]. mysql-server:https://github.com/mysql/mysql-server/
[2]. CLion:https://www.jetbrains.com/clion/
[3]. boost :https://www.boost.org/
RadonDB开源社区 是一个面向云原生、容器化的数据库开源社区。为数据库技术爱好者提供围绕主流开源数据库(MySQL、PostgreSQL、Redis、MongoDB、ClickHouse 等)的技术分享平台,并提供企业级 RadonDB 开源产品及服务。
目前 RadonDB 开源数据库系列产品已被 光大银行、浦发硅谷银行、哈密银行、泰康保险、太平保险、安盛保险、阳光保险、百年人寿、安吉物流、安畅物流、蓝月亮、天财商龙、罗克佳华、升哲科技、无锡汇跑体育、北京电信、江苏交通控股、四川航空、昆明航空、国控生物 等上千家企业及社区用户采用。
RadonDB 可基于云平台与 Kubernetes 容器平台交付,不仅提供覆盖多场景的数据库产品解决方案,而且提供专业的集群管理和自动化运维能力,主要功能特性包括:高可用主从切换、数据强一致性、读写分离、一键安装部署、多维指标监控&告警、弹性扩容&缩容、横向自由扩展、自动备份&恢复、同城多活、异地灾备 等。RadonDB 仅需企业及社区用户专注于业务层逻辑开发,无需关注集群高可用选型、管理和运维等复杂问题,帮助企业及社区用户大幅度提升业务开发与价值创新的效率!
GitHub:
https://github.com/radondb
微信群: 请搜索添加群助手微信号 radondb