本次会议以“夯实产业基础 深耕行业应用”为主题,邀请了各地方大数据局的领导和代表、大数据行业头部厂商代表、重点行业用户代表等500余位政产学研企各领域的专业人士参会,与会人员就推动中国大数据产业的创新发展进行深入剖析,树立了行业风向标。大会采用“线上+线下”的形式召开,线上直播观看数超过4万人次。
为了给更多行业用户的大数据实践提供参考和借鉴,大会组委会还面向全国征集大数据成果与实践案例,在评选原则上对参选产品的先进性、创新性、实用性及自主性均有严格要求,有数数据治理平台凭借产品优势和成熟实践从众多参选产品中脱颖而出,最终斩获大奖。
为什么要做数据治理平台?
在数字经济时代下,数据是经济深化发展的核心要素,企业如何通过构建数据中台和数据产品实现业务流程的“数智化”显得尤为关键。基于这一背景,企业纷纷在数字化转型过程中开始构建相关的技术平台,而在此过程中暴露出了一些问题,如:数据开发与数据治理脱节、缺少对不同平台的统一管理、数据开发过程中无法做到效率和质量兼顾、烟囱式的数据开发、对数据价值和成本的评估不足等。
为了解决以上问题,网易数帆经过多年的实践和持续的打磨,将数据中台建设与数据产品相结合,沉淀了一整套有规划、可落地的数据生产力方法论,其核心包括:DataOps、DataFusion、DataProduct。其中,在DataOps要构建的数据发布流水线中,需要用到大数据、数据仓库等相关技术,在DataFusion要建设的企业公共数据层中,则包含了数据中台、数据治理的相关内容。
而此次获奖的网易数帆有数数据治理平台,正是基于DataFusion方法论打造的。
数据开发与治理一体化,打造“数据治理2.0”
有数数据治理平台是基于网易数帆数据生产力方法论DataFusion打造的一款数据治理平台。通过构建统一的指标管理体系、设计高复用、规范的数据模型、基于ROI的数据资产沉淀,将传统数据治理的方法融入到数据开发的全生命周期当中,有效地保证了数据的持续治理。通过实现开发和治理一体化的“数据治理2.0”,解决企业在用数过程中数据找不到、看不懂、信不过、用不爽、管不住等数据治理难落地的痛点。
有数数据治理平台具备如下几大优势:
数据开发与治理一体化:通过数据开发与治理一体化的设计,以数据标准为基础将数据开发和数据治理过程中的各个环节进行串联,从根本上解决了传统数据治理中无法有效的对数据进行可持续治理的问题。
基于ROI的数据资产沉淀:针对企业在开发和使用数据的过程中,无法对资源成本进行有效管控从而导致资源大量浪费的问题。网易数帆从数据应用的角度,计算数据加工链路上资源的消耗,同时结合下游用户应用的使用情况进行价值衡量,最终沉淀高价值的数据作为资产,帮助企业在数据上实现精细化管理。
面向数据中台的数据建模:在企业中因为缺少数仓建设水平的评估标准而又存在烟囱式的开发模式从而导致大量的数据模型重复构建,数据开发效率低下、需求响应滞后。针对上述情况,网易数帆构建了业界首个面向数据中台的模型设计度量标准,提出了完善度、复用度、规范度的评判维度,有效避免了企业在数据开发过程中跨层引用、表命名不规范、分层表缺失等问题,大大提高了模型的复用率及开发效率。
构建数据服务化,快速开发API:通过可视化的配置方式降低了API的开发难度,提升了API的开发效率。平台通过权限、熔断、限流等技术使得不同应用可以共享API,避免了API烟囱式的开发。此外,平台还建立了应用和数据模型之间的血缘,依托数据服务滚动升级的能力,实现数据热更新,提升了取数效率。
目前,有数数据治理平台在网易内外部已取得显著实践成果。通过搭建面向数据中台的数据建模,网易严选内部的需求交付速度从原来的一周提升到3天。依托数据服务化,网易云音乐共发布了上百个API,日调用量过亿次,支撑了数十个数据应用。
基于网易数据治理最核心的优势——数据开发与治理一体化,某运营商构建在网易数帆的产品之上,形成了开发治理一体化的平台,核心数据的数据标准覆盖率从23%提升到57%,在数据建模过程中就完成了数据标准的落标过程,同时解决了长久以来,数据质量稽核规则覆盖率低,规则不一致的问题。
在优质产品与技术服务的加持下,有数数据治理平台已成功应用于金融、零售、能源、制造、通信、物流、教育、医药等多个行业领域。未来,网易数帆将继续实践“数据生产力”的理念,在数据治理领域精耕细作,助力更多行业客户提效降本,让数据真正产生价值。