数据驱动的经济不仅限于使用人工智能(AI)和深度学习(DL)做出更好的决策。尽管这些应用无疑至关重要,但其他关键驱动因素还包括5G的可用性,这提高了移动性并创建了新的边缘/核心关系以及用于培训和获利。数据驱动型经济的用例包括自动驾驶汽车、互联城市、个性化医疗、定制媒体和娱乐、新的金融模式和市场,以及“一切皆服务”现象。
数据驱动的经济要求新的存储和数据管理架构。这些体系结构需要超越仅提供分布式容量的传统横向扩展存储解决方案。数据驱动型经济的存储体系结构需要利用横向扩展来分发所有数据管理服务,例如元数据存储、数据索引和搜索以及安全性和分析处理。另外,支持数据驱动型经济的存储基础设施不会位于单个位置或数据中心。它的分布式特性需要一个全局全局名称空间,该名称空间可以从任何地方存储和访问数据和应用程序。
来自传感器和设备等来源的非结构化数据是数据驱动型经济的基础。与过去几年不同,该数据是大小文件的混合。文件的数量可以达到数十亿个,并且它们可能消耗数PB的容量。支持数据驱动型经济的存储基础设施需要为深度学习工作负载提供图形处理单元(GPU)计算场。这些用例需要能够支持大量非结构化数据的存储基础设施。在许多情况下,组织只能捕获一次数据,因此数据需要长期保留并需要保证数据不会更改。
对存储基础架构的要求组合似乎相互矛盾。例如,自动驾驶汽车超越了二级自主性,就意味着每年每辆汽车产生超过2PB的数据。这些容量要求意味着,用于数据驱动型经济的存储基础设施不能只是一个全闪存阵列。闪存和硬盘驱动器之间的成本差异仍然很高。数据驱动型经济的存储基础设施很有可能在其核心具有横向扩展、高度并行、基于硬盘的存储系统,在边缘计算具有高速闪存。
数据驱动型经济的存储基础设施看起来与高性能计算基础架构相似,因为它需要提供高带宽和高度并行的输入和输出(IO),但还需要以经济高效的方式存储PB级数据。