当下,数据的生产、存储和消费模式日新月异,随着数据的爆发式增长,在数据存储和管理方面的降本增效成为企业亟待解决的问题。
腾讯云存储高级产品经理林楠认为,“市场需要一个更大、更快、更全能、更低成本的存储服务。数据湖存储在应对多样化、多源化数据存储需求,应对多协议兼容和敏捷性服务等方面,均能满足企业构建统一存储服务的需要,是企业级存储的未来形态。“
顺应这一趋势,腾讯云于2021年发布了国内首个云原生数据湖存储产品图谱,并推出了基于对象存储服务的数据湖三级加速体系。
在设计理念方面,腾讯云原生数据湖三级加速体系秉承了统一存储的思路,其底层存储基座使用了腾讯自研对象存储服务,单集群可管理百EB级别文件,在此基础上组合元数据加速器、AZ加速器和数据加速器GooseFS等多种高内聚、松耦合的数据加速服务,以实现性能和成本的整体优化与平衡。
具体而言,该体系通过数据加速器GooseFS,实现近计算端的缓存加速服务,降低超过50%的对象存储访问带宽;通过元数据加速器,提供原子性的文件系统语义操作,实现元数据操作性能10倍提升;通过AZ加速器,提供Tbps 级海量吞吐和毫秒级的响应。同时,以三者的灵活组合应用,以应对不同业务场景。
此次大会上,腾讯云原生数据湖存储实现了性能的再升级,以更灵活的可插拔服务和更具性价比的解决方案,助力企业上云,用数赋智。
在实际使用过程中,该体系展现了优秀的性能和成本优化能力,例如,使用GooseFS + COS的组合,相较于本地HDFS集群部署可实现20%的性能提升,同时利用对象存储服务海量、低成本的优势,实现了更高性价比的数据存储。此外,腾讯云原生数据湖三级加速体系还打通了腾讯云生态,企业客户可以依托腾讯云构建完整的企业级数据治理方案,实现数据要素的快速流转和价值发现,提升企业竞争力。
通过数据湖三级加速体系,腾讯云成功服务了多个行业客户,助力其将本地大数据存储迁移到公有云上,并由此获得成本上的收益和性能上的提升,促进客户数据业务的稳步增长。
以某音乐客户的实践为例,腾讯云原生数据湖存储帮助其真正实现了按需存数和按需用数,客户不用按峰值准备资源,存储成本直接减少18.4%。同时,通过GooseFS就近计算节点的缓存能力,业务侧也减少了对底层存储的读写带宽,最高实现了50%的平均带宽降低。
在另一自动驾驶客户的实践中,针对AI 训练场景,客户使用GooseFS 加载 TFRecord 文件加速模型训练。根据训练结果显示,使用 GooseFS 可以达到理论性能上限的 95.6% ;对于原始小文件平均提速19.2%。
此次数据湖三级加速体系的能力更新,是腾讯云存储在云原生数据湖领域的新探索与构建。未来,腾讯云存储也将持续推动云原生数据湖技术的发展和落地,为广大企业提供更快、更全能、更低成本的存储服务,助力各行各业释放数据价值,加速迈向数字化。