文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

基于华为云GaussDB(DWS)的国内首个大规模金融云数仓全面上线

2024-12-01 03:23

关注

 

招商银行数据仓库平台主要应用于批量数据加工处理、数据实验室探索及交互式自助分析等场景。随着招商银行数字化转型的快速推进,数据采集处理规模大幅增长,逐步呈现“人人用数,人人都是数据分析师”的数据应用模式,对数据平台容量、算力、稳定性及可用性等提出更高要求。

 

传统数据仓库一体机技术方案存在着生态环境封闭、维护成本高、硬件故障维修复杂、扩容停机时间长等诸多问题,已不能满足快速、平滑的扩容需求。在此背景下,招商银行总行信息技术部启动新MPP数据仓库平台选型,经过多轮测试和考量,最终采用华为云GaussDB(DWS)统一架构,并同华为云成立联合创新实验室,共同构建具有招商银行特色的数据仓库平台。

 

招商银行数据仓库的数据量规模达到PB级别,单一平台进行如此巨大规模的数据和程序迁移,在金融行业非常少见。项目组充分论证迁移方案,制定了基础数据模型先迁,分批次迁移应用集市的总体策略。在设备到货延迟、主机上云项目工期重叠引起源数据大量变动等挑战下,项目组采取仿真环境数据验证、优化人力资源配置、精细化项目过程管理等措施,并研制出一整套自动化迁移验证工具,大幅提升迁移效率,圆满完成云数仓迁移工作。

 

迁移完成后,招商银行业务用户享受到了更轻盈的用数体验:

 

查询速度快人一步。批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%,数据仓库服务效能显著提升。

 

用数不间断,人人都是VIP。集群扩容停机时长由12-24小时降至2-4小时,停机追批时长由1-2天降至业务零感知,平台运维能力大幅提升,用户随时取数用数,不再受维护和跑批的影响。

 

数据丝滑迁移,替换无感。在新旧数仓替换过程中的并行期,项目组通过自研工具实时数据校验,缩短数据核对间歇,实现一分钟内完成重要数据在新旧平台中的数据核对,让用户对替换过程无感知。

 

强大的平台性能是数字化转型不断深入的底气。为此,突破封闭技术路线,引入灵活扩展架构,是新一代数据仓库提升平台性能的必然选择。

 

依托云原生特性,扩展灵活从容。从技术选型出发,华为云数据仓库GaussDB(DWS)打破原有一体机架构封闭的技术路线,基于华为云Stack底座构建开放型技术架构,支持资源弹性管理和按需扩展。在线扩容的重分布速度由20TB/h提速至65TB/h,在线备份速度由37TB/h提速至150TB/h,缩短平台操作时间窗口,业务快速享用平台扩展后的更高算力。

 

分布式优化技术,增强系统能。充分利用多核计算资源,采用多层级、全并行的分布式架构,运用查询重写、计划生成、倾斜处理等多项核心技术,全面提升集群处理性能,实现高并发交互式查询秒级响应,并支撑业务上千并发联机查询。

 

分析与计算集群分离降低负载冲突根据业务发展需要,项目组将原计算集群拓展为零售集群和批发中后台集群,并为业务用数建设专属分析集群,在扩展算力的同时实现业务分析与计算分离。华为云数据仓库GaussDB(DWS)为分析师提供7×24小时随需随用的数据服务,无需等待批量处理负载降低,延长数据服务时长。

 

招商银行云数仓全面上线标志着其数据仓库平台能力上升到一个新台阶,同时也为金融行业数据仓库迁移提供了实践借鉴。

 

面向未来,华为云GaussDB(DWS)将继续探索金融应用场景,全面推广数据工具平台,持续优化平台性能和体验,为打通企业数字化转型最后一公里提供坚实的平台保障。

阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯