文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

腾讯云原生数据湖存储服务能力再上新,三级加速体系助力企业用数赋智

2024-12-01 02:09

关注

当下,数据的生产、存储和消费模式日新月异,随着数据的爆发式增长,在数据存储和管理方面的降本增效成为企业亟待解决的问题。

腾讯云存储高级产品经理林楠认为,“市场需要一个更大、更快、更全能、更低成本的存储服务。数据湖存储在应对多样化、多源化数据存储需求,应对多协议兼容和敏捷性服务等方面,均能满足企业构建统一存储服务的需要,是企业级存储的未来形态。“

顺应这一趋势,腾讯云于2021年发布了国内首个云原生数据湖存储产品图谱,并推出了基于对象存储服务的数据湖三级加速体系。

在设计理念方面,腾讯云原生数据湖三级加速体系秉承了统一存储的思路,其底层存储基座使用了腾讯自研对象存储服务,单集群可管理百EB级别文件,在此基础上组合元数据加速器、AZ加速器和数据加速器GooseFS等多种高内聚、松耦合的数据加速服务,以实现性能和成本的整体优化与平衡。

具体而言,该体系通过数据加速器GooseFS,实现近计算端的缓存加速服务,降低超过50%的对象存储访问带宽;通过元数据加速器,提供原子性的文件系统语义操作,实现元数据操作性能10倍提升;通过AZ加速器,提供Tbps 级海量吞吐和毫秒级的响应。同时,以三者的灵活组合应用,以应对不同业务场景。

此次大会上,腾讯云原生数据湖存储实现了性能的再升级,以更灵活的可插拔服务和更具性价比的解决方案,助力企业上云,用数赋智。

在实际使用过程中,该体系展现了优秀的性能和成本优化能力,例如,使用GooseFS + COS的组合,相较于本地HDFS集群部署可实现20%的性能提升,同时利用对象存储服务海量、低成本的优势,实现了更高性价比的数据存储。此外,腾讯云原生数据湖三级加速体系还打通了腾讯云生态,企业客户可以依托腾讯云构建完整的企业级数据治理方案,实现数据要素的快速流转和价值发现,提升企业竞争力。

通过数据湖三级加速体系,腾讯云成功服务了多个行业客户,助力其将本地大数据存储迁移到公有云上,并由此获得成本上的收益和性能上的提升,促进客户数据业务的稳步增长。

以某音乐客户的实践为例,腾讯云原生数据湖存储帮助其真正实现了按需存数和按需用数,客户不用按峰值准备资源,存储成本直接减少18.4%。同时,通过GooseFS就近计算节点的缓存能力,业务侧也减少了对底层存储的读写带宽,最高实现了50%的平均带宽降低。

在另一自动驾驶客户的实践中,针对AI 训练场景,客户使用GooseFS 加载 TFRecord 文件加速模型训练。根据训练结果显示,使用 GooseFS 可以达到理论性能上限的 95.6% ;对于原始小文件平均提速19.2%。

此次数据湖三级加速体系的能力更新,是腾讯云存储在云原生数据湖领域的新探索与构建。未来,腾讯云存储也将持续推动云原生数据湖技术的发展和落地,为广大企业提供更快、更全能、更低成本的存储服务,助力各行各业释放数据价值,加速迈向数字化。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯