1.MySQL · 源码分析 · Subquery代码分析
2.MySQL XA事务源码分析
3.MySQL 核心模块揭秘 | 12 期 | 创建 savepoint
4.DockerMySQL 源码构建 Docker 镜像(基于 ARM 64 架构)
5.学习MySQL从初学者到高级开发者的必备PDF指南mysqlpdf
6.MySQL源码阅读1-启动初始化
MySQL · 源码分析 · Subquery代码分析
MySQL中的子查询源码分析深入探讨
在了解了MySQL中衍生表的前篇内容后,现在我们将聚焦于条件和投影中嵌套的子查询,这些在MySQL内部是通过Item_subselect来处理的。子查询在SQL中分为相关和非相关两种,MySQL在解析和语义检查后能判断其相关性,并可能在后续优化中调整。猪肉溯源码视频
所有子查询都属于Item_subselect类的子类,这个类的继承结构展示了MySQL支持的子查询类型和它们的标记。执行方式则由Subquery_strategy枚举决定,总共分为五种可能的策略,尽管优化过程涉及复杂函数,但重点在于理解整体流程。
MySQL对查询处理分为三个阶段:prepare、optimize和execute。在prepare阶段,从抽象语法树(AST)构建开始,主要针对子查询进行转换,虽涉及规则和复杂函数,但核心思路清晰。在这个阶段,仅留下标记为CANDIDATE_FOR_IN2EXISTS_OR_MAT的子查询,其执行方式在优化阶段决定。
优化阶段则基于代价估算,选择子查询的执行方式,是物化执行还是EXISTS方式。这个阶段的逻辑相当丰富,但这里仅关注子查询部分。
到了execute阶段,执行逻辑相对简单,根据先前的分析,总结了执行子查询的黄元帅指标源码几种方式。总的来说,子查询处理的复杂性高于衍生表,特别是prepare阶段的变换,这为深入源码研究提供了初步框架。
MySQL XA事务源码分析
事务类型外部 XA PREPARE 流程
省流版:
详细版:
外部 XA COMMIT 过程
省流版:
详细版:
外部 XA 2PC 阶段 Log 落盘顺序
------------------- XA PREPARE START -------------------------
------------------- XA PREPARE END -------------------------
.
.
.
.
.
.
------------------- XA COMMIT START -------------------------
------------------- XA COMMIT END -------------------------
本地事务 commit 流程
省流版
与外部 XA PREPARE 2PC 的不同
与外部 XA COMMIT 的不同
详细版:
------------------- PREPARE START -------------------------
------------------- PREPARE END -------------------------
------------------- COMMIT START -------------------------
------------------- COMMIT END -------------------------
外部 XA ROLLBACK 流程
省流版(Not Prepared Rollback 和 Prepared Rollback 的不同之处)
详细版
Not Prepared Rollback(在 end - prepare 之间 rollback)
Prepared Rollback(在 prepare 之后 rollback)
外部 XA RECOVERY 流程
省流版
详细版
本地事务 RECOVERY 流程
省流版
详细版
为什么只遍历最后一个binlog文件:
rotate 到新的 binlog 文件前,redo log 强制落盘,因此redo commit记录会落盘,保证老的binlog文件没有正在提交的事务
MySQL 核心模块揭秘 | 期 | 创建 savepoint
回滚操作,除了回滚整个事务,还可以部分回滚。部分回滚,需要保存点(savepoint)的协助。本文我们先看看保存点里面都有什么。
作者:操盛春,爱可生技术专家,公众号『一树一溪』作者,专注于研究 MySQL 和 OceanBase 源码。 爱可生开源社区出品,原创内容未经授权不得随意使用,转载请联系小编并注明来源
本文基于 MySQL 8.0. 源码,存储引擎为 InnoDB。
InnoDB 的事务对象有一个名为undo_no 的属性。事务每次改变(插入、更新、删除)某个表的一条记录,都会产生一条 undo 日志。这条 undo 日志中会存储它自己的序号。这个序号就来源于事务对象的 undo_no 属性。
也就是说,事务对象的手游源码船 undo_no 属性中保存着事务改变(插入、更新、删除)某个表中下一条记录产生的 undo 日志的序号。
每个事务都维护着各自独立的 undo 日志序号,和其它事务无关。
每个事务的 undo 日志序号都从 0 开始。事务产生的第 1 条 undo 日志的序号为 0,第 2 条 undo 日志的序号为 1,依此类推。
InnoDB 的 savepoint 结构中会保存创建 savepoint 时事务对象的 undo_no 属性值。
我们通过 SQL 语句创建一个 savepoint 时,server 层、binlog、InnoDB 会各自创建用于保存 savepoint 信息的结构。
server 层的 savepoint 结构是一个SAVEPOINT 类型的对象,主要属性如下:
binlog 的 savepoint 结构很简单,是一个 8 字节的整数。这个整数的值,是创建 savepoint 时事务已经产生的 binlog 日志的字节数,也是接下来新产生的 binlog 日志写入 trx_cache 的 offset。
为了方便介绍,我们把这个整数值称为binlog offset。
InnoDB 的 savepoint 结构是一个trx_named_savept_t 类型的对象,主要属性如下:
创建 savepoint 时,server 层会分配一块 字节的内存,除了存放它自己的 SAVEPOINT 对象,还会存放 binlog offset 和 InnoDB 的 trx_named_savept_t 对象。
server 层的 SAVEPOINT 对象占用这块内存的前 字节,InnoDB 的 trx_named_savept_t 对象占用中间的 字节,binlog offset 占用最后的 8 字节。
客户端连接到 MySQL 之后,分类文章列表源码MySQL 会分配一个专门用于该连接的用户线程。
用户线程中有一个m_savepoints 链表,用户创建的多个 savepoint 通过 prev 属性形成链表,m_savepoints 就指向最新创建的 savepoint。
server 层创建 savepoint 之前,会按照创建时间从新到老,逐个查看链表中是否存在和本次创建的 savepoint 同名的 savepoint。
如果在用户线程的 m_savepoints 链表中找到了和本次创建的 savepoint 同名的 savepoint,需要先删除 m_savepoints 链表中的同名 savepoint。
找到的同名 savepoint,是 server 层的SAVEPOINT 对象,它后面的内存区域分别保存着 InnoDB 的 trx_named_savept_t 对象、binlog offset。
binlog 是个老实孩子,乖乖的把 binlog offset 写入了 server 层为它分配的内存里。删除同名 savepoint 时,不需要单独处理 binlog offset。
InnoDB 就不老实了,虽然 server 层也为 InnoDB 的 trx_named_savept_t 对象分配了内存,但是 InnoDB 并没有往里面写入内容。
事务执行过程中,用户每次创建一个 savepoint,InnoDB 都会创建一个对应的 trx_named_savept_t 对象,并加入 InnoDB 事务对象的 trx_savepoints 链表的末尾。
因为 InnoDB 自己维护了一个存放 savepoint 结构的链表,server 层删除同名 savepoint 时,InnoDB 需要找到这个链表中对应的 savepoint 结构并删除,流程如下:
InnoDB 从事务对象的 trx_savepoints 链表中删除 trx_named_savept_t 对象之后,server 层接着从用户线程的 m_savepoints 链表中删除 server 层的SAVEPOINT 对象,也就连带着清理了 binlog offset。手机捕鱼系统源码
处理完查找、删除同名 savepoint 之后,server 层就正式开始创建 savepoint 了,这个过程分为 3 步。
第 1 步,binlog 会生成一个 Query_log_event。
以创建名为test_savept 的 savepoint 为例,这个 event 的内容如下:
binlog event 写入 trx_cache 之后,binlog offset 会写入 server 层为它分配的 8 字节的内存中。
第 2 步,InnoDB 创建 trx_named_savept_t 对象,并放入事务对象的 trx_savepoints 链表的末尾。
trx_named_savept_t 对象的 name 属性值是 InnoDB 的 savepoint 名字。这个名字是根据 server 层为 InnoDB 的 trx_named_savept_t 对象分配的内存的地址计算得到的。
trx_named_savept_t 对象的savept 属性,是一个 trx_savept_t 类型的对象。这个对象里保存着创建 savepoint 时,事务对象中 undo_no 属性的值,也就是下一条 undo 日志的序号。
第 3 步,把 server 层的 SAVEPOINT 对象加入用户线程的 m_savepoints 链表的尾部。
server 层会创建一个SAVEPOINT 对象,用于存放 savepoint 信息。
binlog 会把binlog offset 写入 server 层为它分配的一块 8 字节的内存里。
InnoDB 会维护自己的 savepoint 链表,里面保存着trx_named_savept_t 对象。
如果 m_savepoints 链表中存在和本次创建的 savepoint 同名的 savepoint, 创建新的 savepoint 之前,server 层会从链表中删除这个同名的 savepoint。
server 层创建的 SAVEPOINT 对象会放入m_savepoints 链表的末尾。
InnoDB 创建的 trx_named_savept_t 对象会放入事务对象的trx_savepoints 链表的末尾。
DockerMySQL 源码构建 Docker 镜像(基于 ARM 架构)
基于 ARM 架构,为避免MySQL版本变化带来的额外成本,本文将指导你如何从头构建MySQL 5.7.的Docker镜像。首先,我们从官方镜像的Dockerfile入手,但官方仅提供MySQL 8.0以上版本的ARM镜像,因此需要采取特殊步骤。 步骤一,使用dfimage获取MySQL 5.7.的原始Dockerfile,注意其原文件中通过yum安装的逻辑不适用于ARM,因为官方yum源缺少该版本的ARM rpm。所以,你需要:在ARM环境中安装必要的依赖
下载源码并安装
修改源码配置以适应ARM架构
编译源码生成rpm文件,结果存放在/root/rpmbuild/RPMS/aarch目录
构建镜像的Dockerfile、docker-entrypoint.sh脚本(解决Kylin V兼容性问题,会在后续文章详细说明)以及my.cnf文件是构建过程中的关键组件。虽然原Dockerfile需要调整以消除EOF块的报错,但整个过程需要细心处理和定制化以适应ARM平台。学习MySQL从初学者到高级开发者的必备PDF指南mysqlpdf
学习MySQL: 从初学者到高级开发者的必备PDF指南
MySQL是一种开源关系型数据库管理系统,它是Web应用程序最流行的数据库之一,用于存储和管理数据。在学习MySQL方面,有很多资源可供使用,但是难以找到一份全面的指南来帮助学习者从初学者到高级开发者的程度。本文将向您介绍一份必备的PDF指南,帮助您在MySQL的学习过程中彻底掌握它。
MySQL官方文档
MySQL官方文档是入门MySQL的的最佳选择。它非常详细地介绍了MySQL如何工作以及如何使用它的不同方面。此外,MySQL官方文档还提供了有关MySQL基本概念、语法、存储引擎、安全性、优化和监测的详细信息。
参考书目
如果你想更深入地了解MySQL的编程和管理方面,那么参考书则是比较好的选择。这里我们推荐以下两本:
《MySQL技术内幕:InnoDB存储引擎》:这是一本权威的MySQL技术内幕书籍,涵盖了很多深入的主题,例如InnoDB的存储引擎、索引、事务、锁等等。
《高性能MySQL》:这本书介绍了如何以最佳方式配置、优化和管理MySQL服务器,以确保其始终为高性能Web应用程序提供可靠且快速的数据存储服务。
在线资源
如果你想在MySQL开发方面提高自己的水平,许多在线资源都可以提供相关的支持和帮助。这里我们推荐以下三种在线资源:
1. Stack Overflow:Stack Overflow是一个知名的在线技术社区,用于解决各种编程问题。MySQL开发人员可以在这里发表问题并获得有经验的开发人员的回答。
2. MySQL官方论坛:MySQL的官方论坛提供了各种MySQL主题、问题和解答的讨论。这是一个很好的地方,可以向更具经验的MySQL开发人员请求协助。
3. GitHub:GitHub是世界上最大的软件开发社区,它提供了各种MySQL项目的源代码,这些代码可以作为学习和参考的源泉。
以上是推荐的一些学习MySQL的资源,你可以根据自己的需求和情况选择合适的资源。除此之外,我们还想介绍一些MySQL的编程基础知识,以帮助您在学习MySQL的过程中更好地理解和应用这些资源。
基础知识
1. 数据类型和列类型
MySQL支持多种不同类型的数据和列类型,例如数字、字符、日期和时间等。不同的数据类型支持的不同的列类型。
2. 数据库和表
MySQL是一个关系型数据库,包含多个数据库,每个数据库包含多个表。表存储组织好的数据,而数据库则是一组相关的表的集合。
3. SQL语句
使用SQL语句可对MySQL数据进行操作,例如查询、插入、更新和删除。以下是一些常见的SQL语句:
– SELECT:用于查询数据。
– INSERT:用于插入新数据。
– UPDATE:用于更新现有数据。
– DELETE:用于删除数据。
MySQL是一种功能丰富的数据库,可以满足许多不同的Web应用程序的要求。通过学习MySQL的基础知识和使用所述的学习资源,您可以将自己的MySQL技能从初学者水平提升到高级开发者水平,并能更好地为Web应用程序提供高效的数据管理服务。
MySQL源码阅读1-启动初始化
通过深入阅读MySQL源码,旨在学习并记录其内核知识。初次探索难免有错误或遗漏,欢迎指正,并期待在后续阅读中对笔记进行修正。
MySQL的启动初始化是关键步骤,涉及核心逻辑与执行流程。关注的入口函数位于`mysql-server-8.0/sql/mysqld.cc::mysqld_main`。
初始化阶段主要关注点包括启动MySQL中的线程,负责执行各种任务。MySQL在初始化时启动的线程种类多样,确保数据管理、查询执行与系统功能高效运作。
调用链显示了初始化过程中的函数调用关系,每个缩进代表一个函数调用,清晰地展示了初始化的执行流程。
总结而言,MySQL服务的初始化步骤复杂且关键,但通常不在日常关注范围内。初次阅读可能存在疏漏,期待在后续阅读中深入探索初始化与终止阶段的代码细节,持续优化理解。
MySQL源码包下载与使用教程详解mysql下载源码包教程
MySQL源码包下载和使用教程详解
MySQL是一种流行的开源关系型数据库管理系统,广泛应用于Web应用程序和企业级应用程序中。MySQL有一个庞大的社区贡献了大量的代码和文档,所以它拥有丰富的特性和功能。这篇文章将向您介绍如何下载和使用MySQL源码包。
下载MySQL源码包
MySQL源码包可以从官方网站下载(/downloads/mysql/)。在下载界面,您可以选择下载不同版本的源码包,包括社区版本和商业版本。社区版本可以免费下载,而商业版本则需要购买许可证才能使用。
使用Git获取MySQL源码
您也可以使用Git来获取MySQL源码,Git是Linux社区开发的分布式版本控制系统。在Linux终端窗口中,可以使用以下命令来安装Git:
sudo apt-get install git
安装之后,可以通过以下命令获取MySQL源码:
git clone /mysql/mysql-server.git
这将下载MySQL源码并将其存储在当前目录中。
编译MySQL源码
下载MySQL源码后,需要编译源代码才能使用。以下是一些最基本的编译源码的步骤。
1.进入MySQL源码目录:
cd mysql-server
2.创建一个构建目录:
mkdir build
cd build
3.运行CMake来为编译配置MySQL:
cmake ..
4.运行make命令来开始编译MySQL:
make
这将花费一段时间来编译MySQL。如果一切顺利,您应该看到”SUCCESS”的消息。
安装MySQL
编译完成后,需要将MySQL安装到系统中。以下是一些基本的安装步骤。
1.运行以下命令以开始安装:
sudo make install
2.将MySQL添加到系统PATH变量(可选):
export PATH=$PATH:/usr/local/mysql/bin
3.启动MySQL:
sudo /usr/local/mysql/support-files/mysql.server start
此操作将启动MySQL服务器,并将它设置为在系统启动时自动启动。现在,您可以使用MySQL了。
总结
MySQL是一个功能强大的开源关系型数据库管理系统。有了MySQL源码包,您可以更好地理解MySQL的内部工作原理,并编写更高效的应用程序。本篇文章向您介绍了如何下载MySQL源码包以及如何使用Git从GitHub获取源代码。我们还介绍了基本的编译和安装步骤。