如果说数据库是软件工程领域的皇冠，而事务与并发控制可称之为皇冠上的钻石。本节将详细分析boltdb中如何实现事务与并发控制
事务
事务定义
boltdb中使用Tx表示事务, 定义如下：
// Tx represents a read-only or read/write transaction on the database.
// Read-only transactions can be used for retrieving values for keys and creating cursors.
// Read/write transactions can create and remove buckets and create and remove keys.
//
// IMPORTANT: You must commit or rollback transactions when you are done with
// them. Pages can not be reclaimed by the writer until no more transactions
// are using them. A long running read transaction can cause the database to
// quickly grow.
type Tx struct {
writable bool
managed bool
db *DB
meta *meta
root Bucket
pages map[pgid]*page
stats TxStats
commitHandlers []func()
// WriteFlag specifies the flag for write-related methods like WriteTo().
// Tx opens the database file with the specified flag to copy the data.
//
// By default, the flag is unset, which works well for mostly in-memory
// workloads. For databases that are much larger than available RAM,
// set the flag to syscall.O_DIRECT to avoid trashing the page cache.
WriteFlag int
}
其中的成员：
writable: boltdb中事务分为两种，读事务(writable = 0)和读写事务(writable = 1)managed: 用于保证用户读写事务的回调函数中不会执行事务提交或事务回滚。稍后将分析如何实现db: 当前事务所绑定的DB对象meta: 当前事务的meta数据(事务初始化时从DB中拷贝而来,在事务提交前只在内存中，当事务提交时持久化到磁盘中的meta page)root: 当前事务的root Bucket(同meta, 事务初始化时从DB中拷贝而来，只在内存中，事务提交时会持久化)pages: 如果当前事务属于读写事务，pages表示当前事务中待持久化到内存的脏页stats: 当前事务执行过程中的统计数据，在事务提交时被汇总到当前DB的统计数据中。commitHandlers: 当前事务提交时执行的钩子函数。用户可通过Tx.OnCommit注册。钩子函数按照注册顺序执行.WriteFlag: 测试用，这里略过
事务初始化
在Boltdb学习笔记之〇--概述中我们提到，用户可通过DB.Update新建一个读写事务，通过DB.View新建一个只读事务。二者都调用了DB.Begin
func (db *DB) Begin(writable bool) (*Tx, error) {
if writable {
return db.beginRWTx()
}
return db.beginTx()
}
接下来我们分别分析读写事务和只读事务的初始化过程
读写事务的初始化
因此创建读写事务的调用链：
DB.Update
-> DB.Begin
-> DB.beginRWTx
`DB.beginRWTx`返回一个读写事务:
- 首先创建一个`wriable`为`true`的`Tx`对象`tx`
- 然后对其进行初始化：拷贝当前db中的meta和root Bucket。并创建`pages`用于存储执行读写事务过程中产生的脏页, 并自增本地meta副本中的txid
- 释放过期事务所占据的pending pages
- 返回读写事务
func (db *DB) beginRWTx() (*Tx, error) {
...
// Create a transaction associated with the database.
t := &Tx{writable: true}
t.init(db)
db.rwtx = t
// Free any pages associated with closed read-only transactions.
var minid txid = 0xFFFFFFFFFFFFFFFF
for _, t := range db.txs {
if t.meta.txid < minid {
minid = t.meta.txid
}
}
if minid > 0 {
db.freelist.release(minid - 1)
}
return t, nil
}
只读事务的初始化
而创建只读事务的调用链：
DB.View
-> DB.Begin
-> DB.beginTx
DB.beginTx返回一个只读事务，
- 首先
new一个新的Tx对象t - 然后对
t进行初始化：初始化过程中会对当前db中的meta和root Bucket进行拷贝，并将副本放在t中 - 将
t加入到当前db的只读事务列表中 - 返回只读事务
t
func (db *DB) beginTx() (*Tx, error) {
...
// Create a transaction associated with the database.
t := &Tx{}
t.init(db)
// Keep track of transaction until it closes.
db.txs = append(db.txs, t)
n := len(db.txs)
// Unlock the meta pages.
db.metalock.Unlock()
...
return t, nil
}
事务执行
事务初始化之后，便开始执行了。在读写事务中，首先执行用户注册的回调函数，如果回调函数没有返回错误，则提交事务，否则回滚。有的读者会问了，如果回调函数执行过程中发生panic该如何处理呢？这里用了defer来捕捉异常。
func (db *DB) Update(fn func(*Tx) error) error {
...
// Make sure the transaction rolls back in the event of a panic.
defer func() {
if t.db != nil {
t.rollback()
}
}()
// Mark as a managed tx so that the inner function cannot manually commit.
t.managed = true
// If an error is returned from the function then rollback and return error.
err = fn(t)
t.managed = false
if err != nil {
_ = t.Rollback()
return err
}
return t.Commit()
}
在只读事务中，首先执行用户注册的回调函数。之后的处理与读写事务不同：这里不管回调函数是否返回错误，都会执行回滚。其实没毛病，对于只读事务来说，其执行不改变db中任何数据，因此没什么好回滚的，Tx.Rollback只是释放只读事务的资源并将其从当前db中抹去。
func (db *DB) View(fn func(*Tx) error) error {
...
if err != nil {
_ = t.Rollback()
return err
}
if err := t.Rollback(); err != nil {
return err
}
return nil
}
事务提交
从上一节中我们看到，只有读写事务才会有提交。步骤如下：
- 对root Bucket执行
rebalance，以合并过小的B+树节点: 递归的对所有修改过的子Bucket执行rebalance, 同时对当前Bucket中修改过的node执行rebalance。 - 对root Bucket执行
spill, 以分裂过大的B+树节点：递归的对所有子Bucket执行spill, 通知对当前Bucket的根节点执行spill - 更新最新root Bucket到
tx.meta中：执行上述两步之后，root Bucket可能已经更新(例如B+树节点分裂时产生新的根节点), 需要记录到当前事务的meta中 - 在对root Bucket执行
rebalance和spill过程中，会通过freelist.Allocate分配新page, 也会调用freelist.free释放很多老page, 此时内存中的freelist比磁盘中的新。因此分配一个新page, 用于持久化新版freelist。至于磁盘中老的freelist page，待当前事务完成提交之后便会释放。 - 判断当前事务中最大page id是否超出db文件, 如果是则对db文件执行扩容
- 将内存中的dirty pages全部持久化到磁盘
- 将
tx.meta持久化化meta page中。注意，当前db中有两个meta page, 持久化的时候选择pageid = txid % 2的meta page。如此，相邻的写入事务提交时分别持久化到不同的meta page。为什么boltdb中要设计两个meta page呢？这是为了避免读写事务提交时，meta page持久化失败，此时该事务被回滚, 另一个meta page中的数据还是有效的，以此保证数据库的一致性
上述步骤中关于B+树节点合并与分裂的具体执行过程见Boltdb学习笔记之二--数据结构
事务回滚
当事务执行过程中返回错误或panic, 或事务提交失败(比如磁盘I/O失败)时，即对当前事务执行回滚。
对于读写事务来说，回滚分为三步
- 对当前db的
freelist进行回滚: 将penging pages从freelist中去除 - 重新从磁盘中读取freelist page
- 将当前事务从当前db中清除，并更新当前db的统计信息
func (tx *Tx) rollback() {
if tx.db == nil {
return
}
if tx.writable {
tx.db.freelist.rollback(tx.meta.txid)
tx.db.freelist.reload(tx.db.page(tx.db.meta().freelist))
}
tx.close()
}
对于只读事务，其回滚只有上述步骤的最后一步
现在我们分析下Tx.managed如何保证用户注册的回调函数中不会调用Commit或Rollback。
我们看到，不管是读写事务还是只读事务，在进入回调函数中之后，managed必为true，直到程序跳出回调函数。假设用户此时在其回调函数中手动调用Commit或Rollback, 则必然会panic，因为Commit和Rollback中会断言managed为false
func (tx *Tx) Commit() error {
_assert(!tx.managed, "managed tx commit not allowed")
...
}
func (tx *Tx) Rollback() error {
_assert(!tx.managed, "managed tx rollback not allowed")
...
}
至于为什么不让用户在回调函数中调用Commit或Rollback, 个人理解应该是处于简化设计的目的, 让用户和boltdb的职责划分更明确：用户的职责是写好回调函数，在各种异常场景下返回错误；而boltdb的职责是根据回调函数是否返回错误决定Commit或是Rollback
如何保证ACID
前面我们花了很大篇幅讲了boltdb中事务的实现细节。接下来我们分析boltdb中的事务如何满足ACID四个属性的：
原子性
对于只读事务，不修改任何数据，在查询过程中产生的缓存随着事务结束也会被释放掉，因此它是符合原子性的
对于读写事务来说，提交之前所有操作都在内存中，事务提交时，按照freelist、B+树数据和meta的顺序先后持久化到磁盘。只有meta成功持久化到磁盘之后，读写事务的操作才可见，换言之在此之前读写事务的操作都不可见。综上，boltdb中不管只读事务或读写事务都满足原子性
隔离性
boltdb中允许一个读写事务和多个只读事务执行。读写事务提交时只会分配新的page，直到在该事务之前的所有只读事务都完成才彻底释放旧page；而只读事务执行过程中不会释放和分配任何page。那么boltdb中如何保证读写事务和只读事务之间互不干扰的呢？以下我们分情况讨论
- 读写事务 + 读写事务 boltdb中通过互斥锁
DB.rwlock保证了任何时刻最多只有一个读写事务在运行。因此两个读写事务并存的情况不存在
func (db *DB) beginRWTx() (*Tx, error) {
// If the database was opened with Options.ReadOnly, return an error.
if db.readOnly {
return nil, ErrDatabaseReadOnly
}
// Obtain writer lock. This is released by the transaction when it closes.
// This enforces only one writer transaction at a time.
db.rwlock.Lock()
...
}
-
只读事务 + 只读事务 只读事务不会新增/修改/删除任何page, 因此它们之间是互不影响的
-
读写事务 + 只读事务 boltdb中在创建一个新的读写事务时，首先会从只读事务中获取最小txid, 并彻底释放最小txid之前的已提交的读写事务的待释放page，即这些page可用于再次分配
// Free any pages associated with closed read-only transactions.
var minid txid = 0xFFFFFFFFFFFFFFFF
for _, t := range db.txs {
if t.meta.txid < minid {
minid = t.meta.txid
}
}
if minid > 0 {
db.freelist.release(minid - 1)
}
为什么要这样做呢？考虑这样一种时序，
初始状态：db meta txid为0
RW-1 begin -> RO-0 begin -> RW-1 commit -> RO-0 finish -> RW-2 begin
RW-n表示读写事务，其中n表示该事务id, 为创建该事务时，当前db meta page中txid+1 RO-n表示只读事务，其中n表示该事务id, 为创建该事务时，当前db meta page中的txid
当执行RW-1 commit时，会创建新page, 用于存储已更新的数据，同时更新db meta txid为1。注意此时对应的老的pending page还不能释放，因为事务RO-O可能还在引用。只有当RO-0完成后，此时再也没有只读事务引用txid=0版本的db。因此在RW-2初始化时，即可彻底释放掉RW-1中产生的老的pending page。
所以boltdb中保留了多种版本(用txid标识)的page, 当版本过期时便彻底释放掉对应的page用于再次分配，以此来保证读写事务和只读事务的隔离性
临界资源
-
读写事务 boltdb中最多只能同时运行一个读写事务，使用互斥锁
db.rwlock保护 -
元数据 不管是创建、提交、回滚事务，都涉及boltdb中元数据的读写，因此使用互斥锁
DB.metalock保护之 -
mmap缓冲区 只读事务会读取mmap缓冲区，但是读写事务有可能触发remmap，如果不对mmap缓冲区加以保护，将会导致只读事务读取到的mmap缓冲区过时。因此实现上，整个只读事务执行过程中都对mmap缓冲区加读锁，而对
DB.mmap函数加写锁，保证数据一致性。
持久性
只读事务因为不修改任何数据，因此无所谓持久性。
读写事务中提交时，不管是freelist(调用freelist.write)、B+树数据(调用Tx.write)还是meta数据(调用Tx.writeMeta)，都会被持久化到磁盘。
以Tx.writeMeta为例, 首先分配pageSize大小的缓冲区，并将meta序列化到该缓冲区内，再将缓冲区中的数据写入到磁盘上的meta page中，最后调用fdatasync将内核缓冲区中的数据全部flush到磁盘
// writeMeta writes the meta to the disk.
func (tx *Tx) writeMeta() error {
// Create a temporary buffer for the meta page.
buf := make([]byte, tx.db.pageSize)
p := tx.db.pageInBuffer(buf, 0)
tx.meta.write(p)
// Write the meta page to file.
if _, err := tx.db.ops.writeAt(buf, int64(p.id)*int64(tx.db.pageSize)); err != nil {
return err
}
if !tx.db.NoSync || IgnoreNoSync {
if err := fdatasync(tx.db); err != nil {
return err
}
}
// Update statistics.
tx.stats.Write++
return nil
}
推荐阅读
- Boltdb学习笔记之二--数据结构
- Boltdb学习笔记之一--存储管理
- Boltdb学习笔记之〇--概述
更多精彩内容，请扫码关注微信公众号：后端技术小屋。如果觉得文章对你有帮助的话，请多多分享、转发、在看。
