文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

云原生 Etcd 系列之Quorum 和唱票那回事

2024-12-02 14:36

关注

本文转载自微信公众号「奇伢云存储」,作者奇伢。转载本文请联系奇伢云存储公众号。

关于 Quorum 的两个维度

前几回说了那么多框架,设计思想的文章。今天分享一个很小的点,etcd 的 quorum 是怎么实现的?

Quorum 机制本质就是一个关于多数派的事情,这个多数派应用的有两个方面:

那么这里有两个小思考问题:

既然是选举过程,那怎么选举结果唱票的?

既然是运行过程,那集群的这些节点怎么确认集群的 commit 位置?

有选举自然有唱票

唱票是在选举流程中的一个步骤。还记得以前选班干部的时候,在黑板上写“正”字,谁得票多谁就获胜当选。

etcd 里面也有选举,也就是 Leader 的选举。Leader 获胜的依据是的票满足大多数,也就是满足 quorum 机制。

今天我们就来看看 etcd 的唱票是怎么做的?

很简单的思路,我们给每个参与选举的朋友计数,得票超过半数的,那么就胜出。

比如说 A,B,C,D,E 五个人竞选,那么得到 3 票的就可以胜出。

来看看 etcd 的唱票

选举属于 quorum 机制,代码位于 etcd/raft/quorum/ 下。quorum 的核心实现在 MajorityConfig 的结构体,其实就是个 map 的封装:

  1. type MajorityConfig map[uint64]struct{} 

这个 map 的 key 是节点的 id,这里面包含了集群的节点,map 的 value 不重要,所用用的是 struct{} 类型。

思考个小问题:那既然 value 不 care ,那为什么不用 slice 结构?

其实就是为了查找的需求,map 的查找是常数级别,value 又用的 struct{} ,不占空间,一举两得。

  1. // etcd/raft/quorum/majority.go 
  2. func (c MajorityConfig) VoteResult(votes map[uint64]bool) VoteResult { 
  3.     // 搞个长度为 2 的数组 
  4.     ny := [2]int{} 
  5.     // 遍历集群节点 
  6.     for id := range c { 
  7.         v, ok := votes[id] 
  8.         if !ok { 
  9.             // 暂时没投票的 
  10.             missing++ 
  11.             continue 
  12.         } 
  13.         if v { 
  14.             // 投票赞同的 
  15.             ny[1]++ 
  16.         } else { 
  17.             // 投票拒绝的 
  18.             ny[0]++ 
  19.         } 
  20.     } 
  21.     q := len(c)/2 + 1 
  22.     if ny[1] >= q { 
  23.         // 选举成功:得票数超过半数,,比如 votes => [yes, yes, yes] 
  24.         return VoteWon 
  25.     } 
  26.     if ny[1]+missing >= q { 
  27.         // 未知情况:不确定成功,也不确定失败 
  28.         return VotePending 
  29.     } 
  30.     // 选举失败 
  31.     return VoteLost 

唱票的实现很简单,就如下几个步骤:

这实现可太简单了,就是一个遍历投票结果,写“正”字,“正”字超过半数则胜出。

集群的节点怎么确认集群的 commit 位置?

集群内被多数节点 commit 的位置才是集群的 commit 点。也就是说这个也需要满足 quorum 。这个就有意思了。

关键步骤:排序,然后取中间的位置。

取的这个中间的位置就是满足 quorum 的 commit 。

  1. // etcd/raft/quorum/majority.go 
  2. func (c MajorityConfig) CommittedIndex(l AckedIndexer) Index { 
  3.     // 遍历集群节点:取出每个节点的 commit 
  4.     for id := range c { 
  5.         if idx, ok := l.AckedIndex(id); ok { 
  6.             srt[i] = uint64(idx) 
  7.             i-- 
  8.         } 
  9.     } 
  10.     // 排个序 
  11.     insertionSort(srt) 
  12.  
  13.     // 取中间,这个位置就是大多数 commit 的位置,属集群共识 
  14.     pos := n - (n/2 + 1) 
  15.     return Index(srt[pos]) 

这个实现就很有意思了,捞出每个节点当前的 commit 位置,组成一个数组,然后给这个数组排个序,取中间的位置。这个位置就是集群的 commit 位置,也就是 apply 的位置。

先把集群每个节点的 commit 位置取出来,是这样的:

后来排个序是这样的,黑色的节点 commit 位置则是集群的 commit 位置:

总结

Quorum 机制是分布式系统中很重要的理论部分,这是一个关于多数派的机制。etcd 关于多数派有两个方面:Leader 选举和 raft 日志运行;

etcd 的唱票实现非常简单,就是一个计数“正”字的实现,用一个 map 记录集群的节点,投票计数超过多数则胜出;

etcd 确认集群 commit 位置则是先把每个节点的 commit 位置放在数组,然后排个序,然后取中间位置,这个位置就是集群的 commit 位置;

多数节点 commit 过的日志才是集群 commit 的位置,集群 commit 的日志才能 apply ,这个要记住喽;

 

集群 commit 位置将由 Leader 通过心跳或者日志复制的消息告诉其他节点;

 

来源: 奇伢云存储内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯