文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

企业级数据中台的终局剖析

2024-12-03 03:22

关注

但是,现在市场上还是有很多的企业同学在问,数据中台和数据仓库,大数据平台等概念的区别。经过过去一年的沉淀和实践,我个人把对于企业级数据中台的本质进行了深度剖析,整合了多个行业,企业,厂商的数据中台产品的多种理解和解读,形成此文,供大家参考。

企业数字化转型的终局

首先,数据中台是服务于企业数字化转型的,所以,我们要从企业数字化的终局来看数据中台的终局。

企业数字化转型的终局是传统业务变成数字化业务,数字化业务的本质就是以数据作为新生产要素进行加工处理,构建以数据作为主要存在形式的产品,产生商业价值的业务模式。

数字化业务的典型代表是:天猫、淘宝、抖音、滴滴这样的互联网企业。

数字化业务和传统的实体业务比较起来,是具有升维的绝对优势的。体现在以下几个方面:

数字化企业的终局对企业数据处理能力提出了新的要求,未来的数字化企业就是一个把数据当做生产要素的制造企业,所以,数字化企业的就是一个数据产品和服务的加工工厂,如下图所示:

每个企业都是获取数据,采集数据,然后将数据放入数据加工的厂房,生产出不同的数据产品,每个企业都会有基于数据去做创新的实验室,去研发新的数据产品,比如字节跳动的今日头条,孵化出抖音,然后沉淀更多的数据生产要素,并且通过对用户数据的洞察,在创新实验室发现更多的数据产品需求,生产出更多的数据产品,这样就形成了源源不断的闭环数据价值生态。

制造业最重要的是生产力也就是生产设备,产线,管理方法,这些对应到就是数字化企业的数据加工厂。未来数字化企业的所有员工,不论线上线下业务的人,都是在围绕数据做工作,线下的业务人员,在进行作业的同时,是为了把物理业务数据化,产生数据。线上的分析人员,是将数据做加工,变成有业务价值的数据产品;运营人员,是将数据产品通过数字化渠道匹配给对应的用户,并且提升用户的使用满意度。整个企业从数据的维度来看就是一个数据加工厂。

所以,这个加工厂的效率,性能,柔性,运维,监控,管理的高效性,协同的效率就非常重要,而这就是数字化企业的数据中台的愿景目标。

当我们把企业看作是一个数据加工厂的时候,我们就可以重新定位企业级数据中台是什么了。

企业级数据中台是数字化企业用来加工数据的全链路平台,它的输入是数据,输出是各种数据产品和数据服务。如果将企业级数据中台进行拆解的话,我们可以看到它的六大核心能力。

二、企业级数据中台的六大核心能力

数据中台六大能力模型

利用领域建模的思想,企业级数据中台的核心能力可以分成两类,一类是核心的业务域,

就是直接存储,加工,生产数据和数据产品的能力,就像工厂生产线里的主要加工设备。第二类是辅助于生产的管理域,是为了让生产的过程更加高效,安全,稳定的能力,就像工厂里的传送带,实验室,检测中心和监控运维中心。

这样一来我们就清晰的看到了数据中台所需要的六大核心能力:

业务能力(Business):

(1) B1数据的获取存储和处理

从源系统中获取到数据,并且将数据存储起来,对它进行适当形式的处理,这是数据加工的第一步。例如,大数据平台,通过爬虫、ETL、接口等方式,从多样化的业务系统获取数据,将数据进行清洗、转换,建模存储到各种不同类型的数据库中,如结构性,非结构性,图数据库等,这也是我们常讲的“业务数据化”的最后一公里。

(2) B2 数据价值的探索和挖掘

当数据已经获取并存储起来后,人们需要对它进行分析探索和挖掘,从而识别出有价值的业务场景数据,从而将数据业务化,反作用于业务本身。目前这个能力主要是靠人的经验在线下完成,线上只是补充。比如,现在的报表,就是数据价值的一种呈现形式,领导层希望看到业务的情况,于是通过数据可视化报表的形式来

(3) B3数据产品和服务的构建和发布

发现数据能够产生价值的场景后,就需要把这个场景开发成数据产品和服务,提供给用户使用。这是数据加工厂的最后一公里的环节,也是面向用户价值呈现的环节。这个环节主要的工作是在发现的数据价值场景基础上用合适的形式(API,报表,APP,数据包)为客户提供数据产品和服务。

管理能力(Management):

除了核心域的数据生产,价值探索和产品开发能力外,为了更好地协作,提升数据产品的生产效率,还需要有很多管理性的配套工作,这就是数据中台的管理能力部分,主要分为三类

(1) M1 共享和协作

企业级数据中台,要具备一站式,全链路的数据开发能力,让所有的数据相关的工作者都能够在这个平台上工作,这里就需要两个主要的子能力。

数据共享:就像Netflix的数据中台有一个数据门户一样,企业的数据要通过一个统一的入口根据不同的权限进行共享,开放给对应的用户,让他们能够方便的访问数据。

数据协作:数据的生产链路是需要多人协作的,比如,源系统提供数据,数据工程师进行数据的抽取和采集,数据分析师对数据进行分析,数据可视化工程师完成数据的可视化设计等。传统这些工作都是通过文件传来传去,而企业级数据中台则需要一个全链路协同的工作环境,让所有的角色都在这个平台上对同样的数据集进行操作。

(2) M2 管理和治理

要把数据当做资产来管理和治理,这里的管理主要指的是以数据资产目录为核心的相关能力,比如数据资产的规划,数据资产的分类,数据资产的获取,数据资产目录的维护,还包括数据权限分级的能力,从而保证数据在一套标准化的管理体系下进行应用,而避免出现管理缺位,数据安全,数据分散的问题,数据的管理要从源头就开始,也就是数据中台要对企业级的数据进行统一的管理,而不仅是数据相关的系统,还要包括源数据。

数据治理就是一个老生常谈的话题了,是以数据标准为核心,对企业的数据质量进行管理,数据中台要有元数据、数据血缘、数据质量、数据版本等全方位的功能,并且企业级数据中台的数据治理模块不能是一个独立运行的模块,它应该嵌入到整个数据生产链路的每一个环节,从而在数据的全链路中发挥作用。

(3) M3 运营和运维

要把数据当做一个核心生产要素来进行运营,所以,数据中台也是需要运营的,这里的运营就包括对数据中台的用户行为数据进行分析,从而发现哪些数据集是高价值的,哪些是被调用比较少的,要把数据产品和服务当做一个互联网产品一样来进行用户运营,只有这样,才能够让数据中台被更多的用户所接受,不断地迭代新的功能,才能够有更强的生命力。

未来数字化企业中,数据中台是一个企业级生产系统,就像淘宝,天猫一样,是不可能接受宕机的,所以数据中台的运维就显得至关重要,SLA要得到必须的保证,这样的话,就需要一套自动化的运维体系。

当我们把这两大类,六个数据中台的核心能力进行组合后,我们就会得到下图的十二个能力子域:

每一个企业根据自己的情况,这十二个能力子域的建设优先级,功能都会有差异。一般来说,从业务价值的产生速度来讲,一定是先完成数据产品的构建和应用是最高优先级的,毕竟这是最快能带来价值的,而管理域的功能则是大型数字化企业必须具备的能力。

数据仓库、数据湖和大数据平台与数据仓库的区别

当我们把这六个能力分析清楚后,就能够更加清晰的看出数据仓库,大数据平台,数据湖和数据中台的区别:

如下图所示:

大数据平台,是偏数据存储和加工的系统,带有部分数据探索的能力,生产的数据产品以数据集为主,不全面。

数据仓库则比较均衡,包括结构化数据的存储加工,可以用自分析报表(Query)的方式实现数据的探索和挖掘,最终数据产品以报表和数据可视化为主。

数据湖则偏重于数据存储和提供,有一部分的数据管理,共享和运维的能力。

数据中台是需要这六大能力都全面具备的。

数据中台一定不仅是一个单体的软件能够形成的,它是一个体系化的企业级数据加工厂,所以数据中台的建设也是需要顶层规划,分步建设的。

【本文为51CTO专栏作者“凯哥”的原创稿件,转载请通过作者微信公众号shikai590获取授权】

戳这里,看该作者更多好文

 

 

来源:51CTO专栏内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯