像许多其他IT功能一样，数据分析也正在迁移到云中。与其他基于云的努力一样，这既带来机遇，也带来挑战。
Gartner引用了2021年十大数据和分析技术趋势之一，即使用开放的，容器化的分析架构，从而使分析功能更易组合。这家研究公司表示，这使企业能够快速创建灵活，智能的应用程序，以帮助数据分析师将见解与行动联系起来。
“随着数据重心转移到云中，可组合数据和分析将成为构建由云市场以及低代码和无代码解决方案支持的分析应用程序的更加敏捷的方式，” Gartner指出。
云可以将公司的数据分析提高到一个新的水平。
创意服务机构Loveurope and Partners（LEAP）的系统和技术总监Aidan Taub表示：“云可为我们提供高计算量工作负载所需的可伸缩性。”
Taub说：“随着世界继续将一切数字化，组织需要能够以指数级的规模构建文件数据。” “当您拥有大量的非结构化数据，例如我们在LEAP处理的视频，图像和音频时，您将永远无法知道下一份工作的规模。传统分析无法像云一样扩展规模。”
然而，与传统方式内部进行批处理分析相比，云中的分析需要不同的方法，技能，架构和经济性。伴随着所有这些变化，势必需要克服一些障碍。
这是组织可能会面临的一些挑战，以及当他们转向在云中执行数据分析时如何解决这些挑战。
害怕失去控制-未知
数据分析对于企业来说具有高度的战略意义，对于习惯于完全控制此类资源的技术领导者而言，将分析过程迁移到云中的想法可能令人望而生畏。
德勤咨询公司高级分析支持主管负责人Anthony Abbattista
“我们看到客户面临的主要挑战之一是组织惯性/对失去控制的恐惧，” Deloitte Consulting高级分析支持主管负责人Anthony Abbattista说道，他曾与众多高级IT高管合作过，转向基于云的技术。分析。
Abbattista说：“ IT和CIO的传统角色是保护并成为数据资产的守护者。” 在某些情况下，云挑战了现状，因为它可以更快地推向市场。他说，例如，产品选择和评估，点击配置的需求有限，无需大量增加资本支出等等。
Abbattista说：“首席数据官和CIO需要共同努力，以审核和熟悉云平台，因此他们可以帮助他们至少与竞争对手一样快地获得业务价值和竞争优势。” “这可能需要采用市场上可接受的，经过验证的和新兴的模型，而不是从头开始设计/架构分析环境。”
布兰登·琼斯（Brandon Jones），CIO，公共机构员工全球保障（WAEPA）
保险提供商公共机构雇员全球保障（WAEPA）的CIO布兰登·琼斯（Brandon Jones）说，由于现有分析流程的灵活性，许多组织在探索新的分析功能方面进展缓慢。他说：“这减少了尝试新功能并推动创新的激励措施和计划。”
为了克服这个问题，WAEPA的IT部门使用了具有云功能的沙箱环境来建立试错法构想流程，并利用主要利益相关者的关键绩效指标，并创建了原型优先的分析环境。
做出转变
除了克服人们认为的失控之外，IT领导者还需要应对向云的实际迁移，并确保不中断服务。
“这令人生畏。对于许多IT领导者来说，他们要做的最困难的事情就是导航到云的道路。” Taub说。“但是，如果他们选择正确的解决方案，就不必那样做。”
Taub说，在将数据分析迁移到云中时，在许多情况下，IT领导者将从“提升和转移”方法开始，将现有的操作移植到云中。他补充说：“通常，这意味着需要重新构建应用程序和系统的工具，以便为云重新架构它们。”
作为2019年对其旧数据基础架构的全面改革的一部分，LEAP使用Qumulo的分析平台将大量非结构化文件数据迁移到了云中。LEAP的文件数据以前分散在各种不同的旧式存储系统中，并且数据管理员在工作流中不同位置管理和定位数据非常耗费人力。
“幸运的是，Qumulo帮助我们转移了所有数据，而无需为云重构应用程序，” Taub说。“我建议您找到一种[工具]，使在多个环境中复制和提取数据变得简单。”
这一转变使该公司能够优化其数据分析，并将性能提高多达240倍。通过Analytics（分析），公司可以查看已连接的客户端数量，使用带宽最多的客户端以及系统在何处快速增长。
Taub说：“创造性工作流程的成功很大程度上取决于我们在云中访问数据分析的能力。” “我们拥有由数百名艺术家，设计师和动态图形编辑人员组成的全球网络，因此，我们需要利用云来有效，安全地协作创意项目。如果没有基于云的数据分析，我们的生产流程将停止。”
Loveurope and Partners（LEAP）系统与技术总监Aidan Taub
掌握正确的技能
成功的IT工作似乎总是归功于掌握必要的技能。将分析迁移到云也不例外。
德勤咨询（Deloitte Consulting）看到对技能的需求开始发生变化。“不是由专家来支持传统分析/ BI（商业智能）中技术堆栈的每个部分，而是云分析环境需要更多的“全栈”思维，” Abbattista说。
他补充说：“为应对这一挑战，支持这些新时代环境的技术团队需要了解云平台上的产品，采用标准模式，然后随着新技术，工具和产品的出现而发展。”
美元树前首席信息官Josh Jewett
乔什·杰维特（Josh Jewett）说，选择在云环境中构建自己的分析平台或依赖供应商系统的公司将需要具有特定的内部技术专业知识，而乔什·杰维特（Josh Jewett）则是零售商Dollar Tree的首席信息官。
Jewett说，这些技能包括创建，维护和从数据湖中获取分析的技能，以及如何最好地利用云原生或第三方人工智能和机器学习功能来从环境中汲取更多见解。
“这些缺点可以通过经验丰富的合作伙伴和顾问来克服，” Jewett说。他说，理想的安排是从这些外部专家那里获取经验，以便与他们签订合同后，该公司便拥有知识和专业知识，可以根据需要继续发展基于云的分析。
在Dollar Tree任职期间，Jewett在帮助公司现代化许多系统（包括数据分析）方面发挥了重要作用。他说：“像其他许多零售商一样，我的公司采取了混合策略。” 它部署了软件即服务平台，以为关键业务功能提供特定的分析功能。
Jewett说：“例如，这些工具包括用于库存生产率，价格优化，减轻损失预防以及人才获取和绩效管理的工具。” 该公司还在云环境中开发了一些自己的分析应用程序，以利用云的灵活性，可伸缩性和加快产品上市的优势。
保护数据
无论有多少云服务提供商强调其基础架构的安全性，许多客户将始终担心其数据在云中的实际安全性。
对于分析尤其如此，因为从数据分析中获得的见解可以成为竞争优势。还担心公开诸如客户信息之类的高度敏感的数据。
Taub说，“任何时候将公司的宝贵数据移出私有数据中心时，安全都是头等大事”。“ LEAP利用了包括自由职业者在内的全球员工网络，这意味着我们必须确保我们的数据将在内部和外部用户访问的云中得到保护。”
最大的安全隐患之一是控制对云应用程序和数据的访问。
软件提供商首席数据和信息官艾米·奥康纳（Amy O'Connor）表示：“人们使用云应用程序的便捷性带来了挑战，其中许多根源在于人们可能会无意中引发安全，隐私和经济方面的担忧。”恰恰。
O'Connor说：“在云帐户之间进行安全切换以及安全地存储和交换密钥是一个安全问题。” “需要围绕适当使用数据进行强有力的治理。在云中，这比本地部署更为紧急，因为人们可以很容易地复制数据并以未经授权的方式使用它们。”
精确地具有混合的多云模型，可以利用多个云供应商来满足其计算和存储需求。O'Connor说：“基于云的数据湖是我们存储大量数据的地方。” “如果数据源自云，我们将在云中开始处理。如果我们具有本质上突发性的分析需求，则可以利用云。如果我们需要快速开始分析处理，则从云开始。当我们需要处理非结构化数据以及使用包括机器学习在内的高级分析处理时，我们可以利用基于云的数据湖。”
精确数据首席信息官艾米·奥康纳（Amy O'Connor）
避免钱坑
尽管使用云服务可以帮助组织避免诸如本地存储系统之类的成本，但支出可能会很快失控或超出预期。
“预算始终是个问题，”陶布说。“一刀切的所有数据架构可能是IT支出陷阱。在做出将分析迁移到云的决定时，企业通常会感到压力，需要支付高昂的前期成本并陷入无法满足其当前需求的长期合同中。”
关键是要找到一个不会强制云锁定的提供商。Taub说：“在评估云平台时，不要害怕四处寻找可以满足您当前分析需求的灵活解决方案，并可以根据需要灵活地扩展以满足您的未来需求。”
O'Connor说，尽管在云中上手很容易，但也很容易将错误的作业类型迁移到云中，并在不再需要云应用程序和资源后让它们继续运行。
O'Connor说，控制云成本的两种最有效方法是控制云帐户的创建方式，并且对于谁在使用云资源完全透明。
“为了解决第一点，我们将每个提供商下的所有云帐户都迁移到一个'主'帐户中，” O'Connor说。“我们集中了谁可以创建新的云帐户。需要新的云资源的个人和团体都要经过正式的请求流程。该请求必须包括业务理由，部门预算信息和业务所有者。”
至于透明性，只要请求得到批准，中央团队就会在主帐户下创建任何新的云帐户。O'Connor说：“该治理政策使我们能够透明化我们的云提供商开具发票的费用。” “使用请求中提供的信息创建每个帐户，然后我们可以使用云提供商的门户或控制台来监视与每个初始请求匹配的支出。”
精确地利用此支出信息建立内部费用分摊模型，将应计的云成本应用到请求者的预算中。O'Connor说，IT使用这些方法“以提高对云成本的责任感，并确保出于正确的业务原因适当地支出”。
来源：CIO.com 原文链接：https://www.cio.com/article/3614196/analytics-in-the-cloud-key-challenges-and-how-to-overcome-them.html
【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】
