诸如备份和长期归档之类的应用程序可以将原有的磁带库和异地租赁保管库替换为AWS Glacier或Google Cloud Coldline之类的云计算冷存储服务,从而迅速获得收益。他们通常使用易于理解的服务来替换需要技术升级的现有存储系统,该服务提供了分布式的高可用性基础设施;基于使用量的定价,以及所有云计算服务固有的内置安全性。
企业混合云存储发展的下一阶段需要将云计算服务链接到现有应用程序,以提供内部部署基础设施的扩展。这种集成的混合云存储方法要求私有系统和公共服务之间具有无缝接口,并且两者之间的数据必须持续同步。目标是使云计算成为企业容量的扩展,并为应用程序提供一个过渡区域,以使用更高级的云计算数据库、数据仓、分析和机器学习服务。
以下是集成混合云存储的各种用例、技术、硬件、软件和服务的概述。
应用程序使用场景
分布式存储平台提供商Hedvig公司的创始工程师Gaurav Yadav将混合云存储定义为在内部部署数据中心和公共云平台混合运营环境运行的存储。他将多云存储描述为跨多个公共云分布的存储,因此企业可以根据存储需求选择公共云,并在需要时跨越这些云平台迁移数据。
混合云存储的优点之一是,它使企业能够访问复杂的数据服务,如Hadoop集群和Spark分析,这些数据服务一年可能只需要访问几次。其他集成的混合存储用例包括:
- 通过云计算对象和文件服务增强内部存储容量,以提供不经常访问的冷数据,同时为热数据提供内部部署副本。
- 相反,创建基于云计算的数据的内部部署副本或缓存以实现低延迟的内部部署访问。
- 使用提取、转换和加载管道,数据仓库和分析引擎将内部部署系统中的数据馈送到云计算数据库或更高级的数据分析系统,例如Azure现代数据仓库示例。
- 使用云存储来同步和卸载多个分支机构位置的数据,例如使用Azure StorSimple的这种情况。Microsoft Azure StorSimple如何为企业提供集成的混合云存储解决方案。
- 将内部部署数据中心的数据馈送到云原生应用程序和系统,例如Web或电子商务站点、内容交付网络、记录管理系统,以及开发人员测试/开发环境。
当然,用于基于云计算的应用程序或活动文件系统的任何基础设施都同样能够提供备份和存档系统的功能,因此以下基础设施选项是这些云存储基准用途的自然演变。
集成的混合云存储基础设施选项
有多种集成内部部署和云存储的方法,它们的复杂性、技术成熟度和功能各不相同。最简单的方法是将云存储变成组织存储层次结构的辅助层,而最先进和最复杂的方法则是有效地创建跨多个环境的分布式存储平台。
以下是集成混合云存储的四种流行方法。
- 具有内置云计算集成的本地存储系统。许多企业级存储阵列,如Dell EMC Isilon、运行Ontap的NetApp系统、Cohenity等,通常都具有可选功能,使它们能够自动将数据复制到云计算服务。尽管这些通常用于单向备份和存档,但有些可以支持双向同步,例如,允许应用程序修改的云计算数据同步回内部部署系统。
- 具有内部部署文件系统的云计算缓存设备。这些专用硬件或软件设备旨在内部部署镜像一部分基于云计算的数据,从而通过减少延迟和增加吞吐量来提高应用程序性能和可用性。其中许多产品(例如Microsoft Avere产品)包括更高级的功能,例如具有统一名称空间的全球分布式网络文件系统,以创建可以跨越多个分支机构、内部部署数据中心和云计算服务的单个组织文件系统。
- 云存储网关。它们使用网络存储协议(例如用于NAS的NFS和SMB,以及用于SAN的iSCSI)和数据块卷来连接内部部署系统和云计算服务。它们可以实现为在主机虚拟机上运行的虚拟软件,也可以作为在数据中心LAN和虚拟私有云之间充当代理的硬件设备来实现。网关通常包括数据压缩和WAN优化设备中发现的其他网络优化技术,以提高性能并减少传输的数据量。例如,AWS Storage Gateway具有用于文件、卷和磁带的模式,并且可以连接到S3以进行对象存储、S3 Glacier/Glacier Deep归档、弹性块存储进行块存储和AWS磁带备份。
- 软件定义存储(SDS)系统。软件定义存储(SDS)系统创建一个软件叠加层,这个叠加层将逻辑存储配置与物理实例解耦。通过创建软件抽象层,软件定义存储(SDS)系统使文件系统能够透明地跨越内部部署和云计算基础设施,包括AWS可用性区域等多个位置。软件定义存储(SDS)系统还提供了一个集中的管理控制平台,其中包括一组企业存储服务,例如重复数据删除、压缩和快照,并且可以在内部部署和云计算环境中自动迁移、复制和同步块卷。大型集成IT提供商(例如NetApp和VMware)以及专门从事软件定义存储(SDS)系统的小型公司(例如Hedvig、Qumulo和Scality)都可以使用软件定义存储(SDS)系统产品。
在这些云存储集成技术中,云网关和云感知存储系统是最容易实现且最成熟的,而软件定义存储(SDS)系统仍然是一种快速变化的技术,其产品需要大量的规划和实施和运营费用。它们通常用于运行管理和数据控制平台所需的虚拟机。
使用和实施指南
大多数企业只是从真正的混合存储架构开始。根据调研机构Gartner公司的调查,实时、双向数据同步(更不用说无缝的、支持SDS的混合文件系统)尚未广泛部署。
对于已经使用云计算进行备份的组织,合乎逻辑的第一步是添加存储网关,并在可用时利用提供云计算支持的存储阵列中的功能。这些将更紧密地将内部部署文件系统与云计算基础设施集成在一起,并使个人和应用程序能够使用熟悉的网络协议来访问云存储服务。
对于许多混合用例而言,采用网关就足够了,例如将数据提供给基于云计算的数据仓库或机器学习模型,以及将诸如用户目录和远程应用程序之类的远程办公室文件系统聚合到中央云存储库。
追求集成混合云存储环境的企业应首先评估其业务和应用程序需求,以及现有存储系统的局限性或不足之处,以优先考虑功能并指导设计。在评估产品时,最好采用那些支持标准协议和多个云计算供应商的产品,例如AWS、Azure和谷歌云这三家全球主要的云计算供应商,以最大化其基础设施即服务(IaaS)选项并避免锁定。
已经委托特定云计算供应商提供云备份或其他服务的企业应从供应商提供的产品开始,例如AWS Storage Gateway或Azure StorSimple,因为它们通常是混合存储集成中成本最低、最简单的选择。