文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

ShardingSphere数据分片算法及测试源码分析

2023-07-05 18:18

关注

这篇文章主要介绍“ShardingSphere数据分片算法及测试源码分析”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“ShardingSphere数据分片算法及测试源码分析”文章能帮助大家解决问题。

垂直分片

我们的一个数据库中通常是有很多数据表的,不过可能由于我们的分类不到位,就会出现涝的涝死旱的旱死的局面,比如某些数据表的读写操作十分频繁,而我的这个库中大量的集中了这种 读写操作频繁的表,那么整体的吞吐量就会降低,而某个库中又集中了读写不频繁的表,吞吐量十分的高(但是好像没什么卵用),所以我们应该合理的分配,以保证整理的吞吐量达到最大值, 下图将数据表各分到了一个数据库中。

ShardingSphere数据分片算法及测试源码分析

不过垂直分片不能从根本上解决读写瓶颈,因为不管你再怎么分,所有的数据始终都集中在一张表里面,就算数据库的性能再好,也解决不了这个问题。所以我们需要进行 更加细粒度的划分,下面我们来讲解水平分片。

水平分片

水平分片又可以叫做横向拆分,就是将一张大表拆分为若干张小表,比如我一张表中有1亿条数据,那么我拆分为10张表,每张表中存1000万条数据,那么效率就会变高, 还有些数据需要进行分类和归档,那么我们也需要进行分表,之前我们系统中一个表用来存储文档信息,有十多年因为数据量十分庞大,在业务中需要对文档进行排序等操作,本来查询就比较 耗时了,再加上需要进行逻辑上的处理,所以就更加耗时,于是就进行了分表,将每一年的数据存进一个表,这样就提高了查询效率,并且更加容易对数据进行追踪和管理,如下就是水平 分片的图例。

ShardingSphere数据分片算法及测试源码分析

ShardingSphere数据分片实战

使用ShardingSphere数据分片,我们只需通过简单的配置就能实现,ShardingSphere帮我们屏蔽了底层逻辑,我们也可通过ShardingSphere预留的 接口和SPI进行扩展我们的需求,比如可以实现我们自己的分片算法,主键生成策略等等。

下面演示将文档按照年份进行分表,将文档数据分表至2013年至2022年来存,一般我们的配置文件都是配置在nacos上面,所以能够灵活的进行配置, 当到了2023年,我们可以添加一个2023年的表,改下nacos的配置,当然,一般会先预留出数据表,nacos上面也留出空间,我们的是预留到2032年, 留出了10年。

yml文件

我们重点关注下面的一些配置,actual-data-nodes代表进行分片的表,使用表达式,document.document_$->{2013..2022}代表document数据库 下面的document_前缀的表进行分片,如document_2022document_2021{2013..2022}代表2013到2022这个区间,sharding-column是分片列, 是我们数据表中的某个字段,就是根据它来进行分片,sharding-algorithms是分片算法,我们可以通过SPI来实现自己的分片算法,接口是StandardShardingAlgorithm, 如下我们使用的是INLINE基于行表达式的分片算法,algorithm-expression是分片表达式,ShardingSphere底层会进行解析表达式,然后分片到对应的数据表上面, 我们的表达式是document_$->{year},也就是根据年进行分片,当然,我们可以根据自己的需求去写表达式,比如根据主键取模进行分片等,需要根据我们的实际场景去做, key-generate-strategy是主键生成策略,ShardingSphere支持自定义主键生成策略,我们只需要通过SPI就可以实现,接口是KeyGenerateAlgorithm,已经 实现了UUIDsnowflake雪花算法等主键生成策略。

spring:  shardingsphere:    mode:      type: Standalone      repository:        type: File      overwrite: true    datasource:      names: document      document:        jdbc-url: jdbc:mysql://localhost:3306/document?serverTimezone=UTC&useSSL=false&useUnicode=true&characterEncoding=UTF-8        type: com.zaxxer.hikari.HikariDataSource        driver-class-name: com.mysql.jdbc.Driver        username: root        password: qwer123@    rules:      sharding:        tables:          document:            actual-data-nodes: document.document_$->{2013..2022}            table-strategy:              standard:                sharding-column: year #分片列                sharding-algorithm-name: document-inline # 分片算法名称            key-generate-strategy:              column: id # 主键列              key-generator-name: timestamp #主键生成算法        sharding-algorithms: #分片算法          document-inline:            type: INLINE            props:              algorithm-expression: document_$->{year}        key-generators:          timestamp:            type: SNOWFLAKE

测试数据数据分片

虚幻插入十次,每次都插入2013年到2022年的数据。

void addDocSliceYear(){    for (int i = 0; i < 10; i++) {        for (int year = 2013; year <= 2022; year++) {            Document document = new Document()                .setDocumentName("document year【" + year + "】")                .setDocumentDetail("year【" + year + "】")                .setYear(year);            documentService.save(document);        }    }}

ShardingSphere数据分片算法及测试源码分析

我们可以看出,数据分片成功,我们看一下分片的数据怎么查询的(此处只是单表查询),我们看一下ShardingSphere-SQL输出的sql语句

SELECT  id,document_name,document_detail,year  FROM document_2013 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2014 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2015 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2016 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2017 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2018 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2019 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2020 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2021 UNION ALL SELECT  id,document_name,document_detail,year  FROM document_2022

从控制台打印的SQL语句中看出,ShardingSphere分片查询使用的是UNION ALL,UNION ALL实现把前后两个SELECT集合的数据联合起来,组成一个结果集查询输出, 联合查询需要每个表中的的字段相同,字段类型相同,数量相同,这也是分片的基本要求。

上面我们只演示了单表的数据分片查询,如果是多表查询,我们需要配置binding-tables绑定表,这样能够减少查询的笛卡尔积,从而提升查询效率,我们就不做 详细的介绍,可去官网自己查看。

分片算法

ShardingSphere的分片算法有多种,我们也可以自己实现一套分片算法,通过SPI,分片算法的顶层接口是ShardingAlgorithm,目前实现了多种算法。

BoundaryBasedRangeShardingAlgorithm: 基于分片边界的范围分片算法

VolumeBasedRangeShardingAlgorithm: 基于分片容量的范围分片算法

ComplexInlineShardingAlgorithm: 基于行表达式的复合分片算法

AutoIntervalShardingAlgorithm: 基于可变时间范围的分片算法

ClassBasedShardingAlgorithm: 基于自定义类的分片算法

HintInlineShardingAlgorithm: 基于行表达式的 Hint 分片算法

IntervalShardingAlgorithm: 基于固定时间范围的分片算法

HashModShardingAlgorithm: 基于哈希取模的分片算法

InlineShardingAlgorithm: 基于行表达式的分片算法

ModShardingAlgorithm: 基于取模的分片算法

CosIdModShardingAlgorithm: 基于 CosId 的取模分片算法

CosIdIntervalShardingAlgorithm: 基于 CosId 的固定时间范围的分片算法

CosIdSnowflakeIntervalShardingAlgorithm: 基于 CosId 的雪花ID固定时间范围的分片算法

分布式主键生成算法

ShardingSphere也可以自定义实现主键生成策略,通过SPI,顶层接口为KeyGenerateAlgorithm,目前实现的算法有。

SnowflakeKeyGenerateAlgorithm 基于雪花算法的分布式主键生成算法

UUIDKeyGenerateAlgorithm: 基于 UUID 的分布式主键生成算法

CosIdKeyGenerateAlgorithm: 基于 CosId 的分布式主键生成算法

CosIdSnowflakeKeyGenerateAlgorithm: 基于 CosId 的雪花算法分布式主键生成算法

NanoIdKeyGenerateAlgorithm: 基于 NanoId 的分布式主键生成算法

关于“ShardingSphere数据分片算法及测试源码分析”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识,可以关注编程网行业资讯频道,小编每天都会为大家更新不同的知识点。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯