文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

大数据技术是如何发展的?

2024-11-30 01:57

关注

2013年,行业专家宣布开始进入大数据时代。他们认为,大数据使组织能够以正确的速度和正确的时间存储、管理和操作大量数据,以获得正确的见解。

大数据并不代表一种单一的技术,而是一组不同的数据管理技术,其根源是之前的几次技术变革。

现在的问题是:大数据现在在哪里?成熟它的应用需要什么?

公平地说,最近的分析师调查发现,大数据还没有带来重大的商业成果。尽管有这么多的宣传,但大多数企业员工仍然无法方便地获得完成工作所需的信息。随着信息源、使用和用户数量的增长,问题仍然集中在在正确的时间将正确的信息提供给正确的人。

数据仓库vs.数据湖vs.数据结构

为了容纳所有这些数据,存储和管理系统如雨后春笋般涌现,比如数据仓库、数据湖和数据结构。但是,在解决方案和平台级别上,需要一个数据结构作为跨企业的所有数据集成、管理和治理的保护伞。企业间的凝聚力是必须的。

行业专家指出,集中数据通常是不可行的。或者使用服务对分析进行原型化,以访问不同的数据源,然后如果它被证明是富有成效的,并且业务需要指示它。中心化在后面完成。

Hurwitz公司分析师DanKirsch指出数据去中心化趋势和数据结构之间的联系。他说,“我们已经看到数据结构方法越来越受欢迎,因为拥有一个中央存储库来保存所有的数据是不现实的。”因此,数据结构需要允许异构数据位置。数据结构方法有助于解决分担责任的挑战,也就是每个团队负责自己的数据,然后将其连接起来,而不是将数据转储到数据湖中。AWS公司认为,数据湖是分析成功的唯一途径。当然,他们希望企业将所有数据都转储到AWS云平台上。

Gartner公司数据与分析副总裁NickHeudecker对此表示赞同,并认为所有这些趋势都很重要。他指出,“每个概念服务于不同的用户和用例,高性能、可重复分析的数据仓库。用于问题开发/实验的数据湖。数据网格用于使用带有治理监督的分布式数据。因此,没有混淆。”

将大数据战略集中在一个平台上

专家们利用双重策略,但坚持单一平台。通常有两种策略。一种策略是针对产品,另一种是针对分析。每个都有自己的核心枢纽平台,并支持多个数据存储库。然后在两个核心枢纽之间有一个ETL平台。

但是,是哪个供应商提供了这些服务的大部分呢?还没有看到任何一款认为能够独立成为完整平台的游戏。

多个数据存储库在很多方面,它不是集中数据,而是集成数据。而如何将所有数据集成起来,使其可视化,并将其连接到其他系统。

集中所有数据会带来成本、管理和安全问题。数据被锁定在业务线应用程序中,在办公场所和云生态系统中。连接数据所在位置有助于消除风险,提高洞察速度。这并不是一个单一的供应商解决方案故事。一些企业提供查询功能,但治理故事还没有被任何人充实起来。大数据中使得移动数据成为一个挑战。多平台是常态。如果幸运的话,可以将工具和技能标准化。

因此,数据结构是一种数据管理概念,用于实现灵活的、可重用的和增强的数据集成管道、服务和语义,以支持跨多个部署和编排平台交付的各种操作和分析用例。

确保遵守数据治理和数据隐私规则

因此,数据结构是一种数据管理概念,用于实现灵活的、可重用的和增强的数据集成管道、服务和语义,以支持跨多个部署和编排平台交付的各种操作和分析用例。

确保遵守数据治理和数据隐私规则

为了有效地管理数据,企业必须清楚地了解自己拥有哪些数据。组织需要了解他们的数据湖或数据结构中有哪些类型的数据。如果个人身份信息(PII)参与了一个特定的应用程序或新的努力,企业需要指派一名高管监督个人数据的适当使用。高管还可以帮助解决数据的可行性和适用性的问题。

管理人员扮演着至关重要的治理角色。因此,定义“管理员”很重要,他们的全部工作就是在信息的最初来源处访问和管理对信息的更正。他们从业务团队中轮换出来,制定KPI。

重要的是预先定义管理员,并知道如何在过程中与他们签入。获得管理员对用户体验设计的反馈也很重要。

云计算技术对大数据战略的影响?

云计算正在成为计算和存储的另一种形式,而不是一个独立的环境。云管理和可见性很重要。假设云计算是一种快速消耗预算的方法。在很多情况下,没有理由将一些应用程序移到云端。能够在云上立即对概念和实验进行证明是非常重要的。

云计算允许组织尝试新事物,并根据需要增加或删除计算能力,而不必等待物理工作完成。

数据过程在哪里成熟?

流程需要明确定义术语的基础。从事务系统开始是至关重要的。如果数据一开始是错误的,就需要花费大量时间来清理和增强该数据。

在促进围绕数据共享场景的领域需要大部分成熟度,比如数据读写能力。数据操作可以帮助提高弹性,但它仍然是一种压倒性的技术实践。

结语

显然,大数据正处于分析师所说的“幻灭低谷”。尽管数据驱动型公司将是长期赢家,但仍有工作要做。

获胜者需要进行数据治理,以使数据足够用于任务和保护。他们还需要改进数据处理过程。数据操作和数据治理可以一起提供帮助。

来源:机房360内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯