招商银行数据仓库平台主要应用于批量数据加工处理、数据实验室探索及交互式自助分析等场景。随着招商银行数字化转型的快速推进,数据采集处理规模大幅增长,逐步呈现“人人用数,人人都是数据分析师”的数据应用模式,对数据平台容量、算力、稳定性及可用性等提出更高要求。
传统数据仓库一体机技术方案存在着生态环境封闭、维护成本高、硬件故障维修复杂、扩容停机时间长等诸多问题,已不能满足快速、平滑的扩容需求。在此背景下,招商银行总行信息技术部启动新MPP数据仓库平台选型,经过多轮测试和考量,最终采用华为云GaussDB(DWS)统一架构,并同华为云成立联合创新实验室,共同构建具有招商银行特色的数据仓库平台。
招商银行数据仓库的数据量规模达到PB级别,单一平台进行如此巨大规模的数据和程序迁移,在金融行业非常少见。项目组充分论证迁移方案,制定了基础数据模型先迁,分批次迁移应用集市的总体策略。在设备到货延迟、主机上云项目工期重叠引起源数据大量变动等挑战下,项目组采取仿真环境数据验证、优化人力资源配置、精细化项目过程管理等措施,并研制出一整套自动化迁移验证工具,大幅提升迁移效率,圆满完成云数仓迁移工作。
迁移完成后,招商银行业务用户享受到了更轻盈的用数体验:
查询速度快人一步。批量数据处理完成进度整体提前2小时以上,业务用户查询时长缩短75%,数据仓库服务效能显著提升。
用数不间断,人人都是VIP。集群扩容停机时长由12-24小时降至2-4小时,停机追批时长由1-2天降至业务零感知,平台运维能力大幅提升,用户随时取数用数,不再受维护和跑批的影响。
数据丝滑迁移,替换无感。在新旧数仓替换过程中的并行期,项目组通过自研工具实时数据校验,缩短数据核对间歇,实现一分钟内完成重要数据在新旧平台中的数据核对,让用户对替换过程无感知。
强大的平台性能是数字化转型不断深入的底气。为此,突破封闭技术路线,引入灵活扩展架构,是新一代数据仓库提升平台性能的必然选择。
依托云原生特性,扩展灵活从容。从技术选型出发,华为云数据仓库GaussDB(DWS)打破原有一体机架构封闭的技术路线,基于华为云Stack底座构建开放型技术架构,支持资源弹性管理和按需扩展。在线扩容的重分布速度由20TB/h提速至65TB/h,在线备份速度由37TB/h提速至150TB/h,缩短平台操作时间窗口,业务快速享用平台扩展后的更高算力。
分布式优化技术,增强系统性能。充分利用多核计算资源,采用多层级、全并行的分布式架构,运用查询重写、计划生成、倾斜处理等多项核心技术,全面提升集群处理性能,实现高并发交互式查询秒级响应,并支撑业务上千并发联机查询。
分析与计算集群分离,降低负载冲突。根据业务发展需要,项目组将原计算集群拓展为零售集群和批发中后台集群,并为业务用数建设专属分析集群,在扩展算力的同时实现业务分析与计算分离。华为云数据仓库GaussDB(DWS)为分析师提供7×24小时随需随用的数据服务,无需等待批量处理负载降低,延长数据服务时长。
招商银行云数仓全面上线标志着其数据仓库平台能力上升到一个新台阶,同时也为金融行业数据仓库迁移提供了实践借鉴。
面向未来,华为云GaussDB(DWS)将继续探索金融应用场景,全面推广数据工具平台,持续优化平台性能和体验,为打通企业数字化转型最后一公里提供坚实的平台保障。