前言
夜深人静的时候，打开云音乐，点上一曲攀登，带上真无线蓝牙耳机，瞬间燃到爆，键盘打字如飞倦意全无。
分片规则
这几天有人问我，dble和MyCat到底有什么不同。其实dble作为MyCAT的同门，吸收了MyCat的精华，同时也相应的做了一些减法。只支持MySQL显得更加的纯粹。所以选择对比学习两者我觉得挺好。
前面我们学习了schema.xml文件的配置，我们能独立的把逻辑库和逻辑表搭建起来，让数据表跟随我们的定义规则(取模)进行分布。今天我们介绍具体的分片算法。dble相对于mycat来说，是做了一些减法的。比如一致hash算法就没有,而是使用了jumpstringhash代替了一致性hash。具体原因可以参考文章dble 沿用 jumpstringhash,移除 Mycat 一致性 hash 原因
hash分区算法- stringhash分区算法
- enum分区算法
- numberrange分区算法
- patternrange分区算法
- date分区算法
- jumpstringhash算法
HASH分区算法
Hash分区算法是一种比较典型而且常用的算法。要使用HASH分区算法需要在rule.xml中定义两个部分。
分区规则定义
如下所示，使用tableRule标签定义，name对应的是规则的名字，而rule标签中的columns则对应的分片字段，这个字段必须和表中的字段一致。algorithm则代表了执行分片函数的名字。
id
rang-long
分区算法定义
如下所示，使用function标签定义分区算法，name代表算法的名字，算法的名字要和上面的tableRule中的标签相对应。class：指定分区算法实现类。property指定了对应分区算法的参数。不同的算法参数不同。
auto-sharding-long.txt
...
partitionCount:指定分区的区间数，具体为 C1 +C2 + ... + CnpartitionLength:指定各区间长度，具体区间划分为 [0, L1), [L1, 2L1), ..., [(C1-1)L1, C1L1), [C1L1, C1L1+L2), [C1L1+L2, C1L1+2L2), ... 其中，每一个区间对应一个数据节点。
测试Hash分区算法
1.在启动的时候，两个数组点乘做运算，得到取模数。
2.两个数组进行叉乘，得出物理分区表。
3.根据where条件的值来落入实际分片
select * from shareding_key = 999;
先根据分片键取出999，按照公式1的计算结果除取模，然后得到的值落到2计算出来的分片中。
4.举个简单的例子:
2,3
100,50
根据公式1
也就是传进来的值需要对350取模。
根据公式2,物理分区为
999对350取模，正好是299。落在250-300这个区间里面。也就是第4个区间。
接下来我们实际来测试一下，我们在rule.xml中设置如下：
id
func_hash_test
2,3
100,50
我们通过公式2算出有5个分片。所以在schema.xml中设置table属性如下：
5.创建表测试
我们先使用shell创建1000行数据，在创建表，通过load data语法将我们shell产生的文件进行导入。
for i in {1..1000}
do
echo $i'|name'$[i]'' >>a1.txt
done
请原谅我作为一个GEEK，把桌面和终端完美结合成二次元是标配。
这里可以看到我们查询999这个数据，会自动到dn4这个分片上进行查询。再比如我们查500,500对350取模是150，150是落在第二个分区里面的。
6.另一个例子
2
1000
此时C _L=2_1000=2000,将对2000进行取模。
同时将划分如下的分区：
注意事项
- M不能大于2880。2880的原因是这样的:2, 3, 4, 5, 6, 8, 9, 10, 12, 15, 16, 18, 20, 24, 30, 32, 36, 40, 45, 48, 60, 64, 72, 80, 90, 96, 120, 144, 160, 180, 192, 240, 288, 320, 360, 480, 576, 720, 960, 1440是2880的约数,这样预分片扩容方便。
- N必须要等于schema.xml中使用该分区算法的逻辑表的dataNode属性指定的DataNode数量之和，比如我们上面这个算法是5个分区，但是如果你在逻辑表的dataNode属性中设置分区个数小于5，dataNode="dn1,dn2,dn3,dn4"，则dble就会报错。
partition size : 5 > table datanode size : 4 please make sure table datanode size = function partition size
- $C_n$和$L_n$的个数必须相等。
- 分区字段必须为整型字段，如果是其他类型，要求值可转化为数字。
- 当partitionLength为1时，hash分区算法退化为求模算法，M及N均为partitionCount的值。
- NULL作为分片列的值的时候数据的结果恒落在0号节点(第一个节点上)，建议最好不要让这种情况出现，强制设置分片键为not null。
后记
今天学习了分片算法Hash。后续将继续分享其他的算法。谢谢支持！
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
软考中级精品资料免费领
历年真题答案解析
备考技巧名师总结
高频考点精准押题
- 资料下载
- 历年真题
193.9 KB下载数265
191.63 KB下载数245
143.91 KB下载数1142
183.71 KB下载数642
644.84 KB下载数2755
相关文章
发现更多好内容猜你喜欢
AI推送时光机数据库中间件分片算法之hash
![数据库中间件分片算法之hash]()
数据库2015-11-27数据库中数据计算中间件技术的示例分析
数据库2024-04-02Mycat中间件如何实现Mysql数据分片
数据库2024-04-02Mycat中间件实现Mysql数据分片（ 下篇）
数据库2024-04-0212C数据库Goldengate同步异构数据库Kafka中间件之二
数据库2024-04-02数据库中间件MyCat的示例分析
数据库2024-04-02怎么用数据库中间件Mycat+SpringBoot完成分库分表
数据库2023-06-16（四面）阿里中间件：底层+算法+微服务+数据库+架构！面经分享
![（四面）阿里中间件：底层+算法+微服务+数据库+架构！面经分享]()
数据库2016-06-21Java数据库读写分离中的数据库中间件DBProxy是怎样的
数据库2023-06-17JavaScript中数据结构与算法之检索算法的示例分析
数据库2024-04-02使用Goldengate同步异构数据库Kafka中间件之一
数据库2024-04-02数据库中间件ProxySQL读写自动分离实践
数据库2024-04-02如何进行数据库中间件 MyCAT 源码分析
数据库2024-04-02NoSQL数据库中怎么实现一个分布式算法
数据库2024-04-02C语言数据结构之算法的时间复杂度实例分析
数据库2023-06-30数据库中间件 MyCAT 源码分析 —— 调试环境搭建
数据库2024-04-02
DDM实践系列丨分布式数据库中间件使用经验分享
![DDM实践系列丨分布式数据库中间件使用经验分享]()
数据库2021-05-23为什么无法为数据库 tempdb中的对象分配空间
数据库2024-04-02 咦！没有更多了？去看看其它编程学习网 内容吧
