文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

原创数据库多卡加速新方法 申威睿思发明层级化数据库操作加速系统和方法

2024-12-01 01:57

关注

申威睿思作为国内首家专业从事数据中心加速领域的高阶处理器SOC芯片公司,其核心团队拥有深厚的数据库和硬件加速技术的研发功底以及丰富的应用场景设计经验,在数据库性能提升与数据中心/超算中心加速等技术场景中拥有大量自主创新性技术并获得了多项国家发明专利。其中,申威睿思针对分布式数据库的硬件加速技术已获得了4项国家发明专利,同时完成了4项PCT国际发明专利申请,并已经正式进入美国审查阶段,完成在美国的专利布局。这4项自主创新的发明专利完成国际专利申请并正式进入美国审查阶段,一方面标志着申威睿思中国“芯”力量在数据中心关键基础技术方面的创新和突破,另一方面则体现了申威睿思的技术发展从国内到国际的战略性布局,展现了申威睿思意在更广阔、竞争更激烈的国际市场上群雄逐鹿的决心。

此次申威睿思的四项发明专利主要围绕分布式数据库系统加速方法和装置发明,涵盖从系统方法、操作加速、数据传输、存储和装置等四个方面原创发明。

本次分享的是针对数据中心单节点数据库加速瓶颈的难题,提出了全球原创性的发明——层级化数据库操作加速系统和方法,为大幅度提升大量数据中心的数据库性能提供了行之有效的原创性系统方法和技术方案。

众所周知,数据库单节点采用单张FPGA加速卡加速其性能增益存在上限,扩展成多卡加速成为自然而然的选择。

目前主流数据库多卡加速的方案有两种:

一、加速卡横向扩展

将2张及以上加速卡并行接入单节点对应的PCIe插槽中。该节点针对多个可用加速器中的每一个的处理配置检索成本信息,将一个或多个查询操作卸载到多个加速器中进行查询加速和汇总。该方案存在主机存储IO和CPU性能瓶颈,无法满足性能线性提升要求。

二、加速卡纵向扩展

通过一个PCIe接口加转换器连接多个硬件加速器,并连接一个共享存储设备,通过查询分片的方式,将主机处理后的查询分片分发到至少一个加速器上执行并返回该分片的结果。该方案依然存在IO瓶颈,因此影响了单节点加速性能的提升。

要进一步提升多加速卡的单节点数据库系统的处理性能,提高数据查询效率,我们开创性地发明了一种层级加速方法。

说明图1

层级加速 效应倍增

层级化数据库操作加速系统,包含主机以及层级化加速模块两大部分,其中主机接收查询计划,并以此为依据生成相应的查询操作并进行分发,同时还接收并处理汇总执行结果;而层级加速模块通过PCIe接口与主机相连,接收主机分配的所述查询操作并返回所述汇总执行结果。

说明图2

层级加速中包含一个主加速卡和至少一个从加速卡,主从加速卡相互连接,执行被分配的查询操作,产生执行结果;从加速卡向主加速卡返回所述执行结果,再由主加速卡完成所述执行结果汇聚和被分配的后续查询操作,向主机返回所述汇总执行结果。为了提高数据库操作的速度,主加速卡和从加速卡都设置有用于存储数据的存储单元,整个系统就形成多级存储架构。

说明图3

主机根据数据分布信息和各加速卡的执行能力信息将所述查询计划对应的所述查询操作分发至各加速卡,预设数据分布规则预先将主机侧存储器中存储的数据加载存放到各加速卡存储器中。主机接收到查询请求时,根据数据分布信息和各加速卡的执行能力信息将查询计划分发至各加速卡操作,操作可包括扫描、连接、排序和汇聚操作。 

主从加速卡之间可通过PCIe数据总线或超高速网络接口连接,主加速卡和从加速卡具备对数据进行加密和压缩,以及解密和解压的功能。

灵活配搭广泛应用

在层级加速模块中,主从加速卡可以为内部硬件结构相同的加速卡,可以实现相同的功能;也可以为内部硬件结构不同的加速卡,可以实现不同的功能;各从加速卡也可以为内部硬件结构不同的加速卡,可以实现不同的功能。在当前主加速卡故障时,则由预设的后继加速卡接替当前主加速卡。

说明图4

为了提高数据查询效率,主加速卡基于负载均衡将各剩余容量在各加速卡存储器之间平均分配,或基于负载均衡将高于预设访问频次的热点数据在各加速卡存储器之间平均分配,或将关联度高于预设值的数据存入同一个加速卡存储器中。

主从加速卡的网络接口包括Ethernet以太网、FC光纤通道、基于融合以太网的RDMAv2中的一种或多种。各加速卡通过外部的以太交换机实现高速互联。也可以是其余任意一种加速卡支持的网络交换设备,可以连接更多的同构系统或加速卡,构建更大规模的多卡加速系统。

说明图5

此外,各加速卡中的一个或多个具备对数据进行加密和压缩、解密和解压的功能。当层级加速模块启用,从主机侧的存储介质中加载加密和压缩的数据库数据时,需要先由主加速卡完成数据的解压和/或解密后,再分发到各加速卡。通过在一张从加速卡上部署远端存储访问功能,支持连接远端存储设备。

说明图6

本发明的层级加速模块中,主从加速卡的配搭组合灵活多变,可以满足不同数据库单机节点的加速需求,为各类数据中心的数据库加速场景和创新应用提供了创新性方法和实现路径。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯