海量数据高速处理,如何兼顾性价比?
FreeWheel是一家以先进视频广告技术和优质视频内容服务全球的综合广告服务供应商。其服务的媒体包括Comcast、NBCU和SKY等媒体巨头,还曾多次成功支持奥运会、世界杯和超级碗等大型活动的广告投放任务。FreeWheel的投放受众众多,还需要对每次的广告投放进行数据分析,王磊表示,“FreeWheel的数据采集周期要求非常高,我们的默认采集周期是在10秒级别,一些关键数据的甚至需要1秒级采集”。
面对高并发、大数据量和业务复杂的业务特征,FreeWheel如何削减成本和性能压力?亚马逊云科技给出了基于Graviton 2实例的全套解决方案。肖红亮介绍道,借助Graviton 2的强大赋能,FreeWheel的数据服务API获得了相较于部署在x86架构之上高40%的QPS,网络代理集群的吞吐量提升20%,而任务运行所需的实例数量减少了23%,直接降低了FreeWheel的运行成本。
全流程监控,Graviton安心护航
如何利用Graviton 2进行应用实践?王磊为我们带来的是FreeWheel监控平台的分享。FreeWheel监控平台主要服务于广告投放系统的实时监控和报警,拥有PB级别的Metric、Log、Trace三位一体的监控数据处理能力,覆盖从基础硬件、系统到应用的端到端业务,进行警报数据的分析和挖掘。接下来王磊介绍了FreeWheel监控平台的架构[肖1] ,此平台采用业界流行的Prometheus体系收集数据,写入Cortex远程存储系统,将数据上传到Amazon S3,同时这些数据也会被Grafana和FreeWheel自研的Alert系统消费[ZY2] 用作展示和报警。王磊提到,目前监控平台的全套服务都部署在AmazonEKS托管服务上,能够有效降低运维成本。
FreeWheel在了解到Graviton2的第一时间就在监控平台进行了应用尝试,经过测试,在Graviton 2加持下,Cortex系统的成本消耗直接下降了20%。王磊坦言,正是这一测试结果坚定了FreeWheel将监控平台的全线服务迁移到Graviton实例之上,Prometheus场景下ARM架构带来的20%性能提升也证明Graviton并未辜负FreeWheel的期待。目前FreeWheel使用亚马逊云科技基于Graviton 2的多种实例,如内存密集型负载、通用负载和计算密集型负载,为监控平台降本增效,有效激活效能。王磊表示,FreeWheel乐于尝试亚马逊云科技的创新技术,希望达到Graviton更大的使用规模。
Graviton性能如何?实践出真知
除了监控平台场景,张宇欣还为我们分享了Graviton 2实例在Presto集群的应用实践。Presto是一个分布式的SQL查询引擎,它被设计用于查询分布在一个或者多个异构的数据源上的大规模数据集。目前FreeWheel拥有15套常驻Presto集群和100多套备用集群,每日在线的平均节点数约280个,高峰期可能达到近千个,每日查询跨域数约6万条,数据扫描量高达每天1.1Pb。针对计算密集型的要求,FreeWheel选择了亚马逊云科技的Graviton计算优化实例,将全部Presto集群部署在Amazon EC2上。将Presto集群迁移至Graviton实例前,FreeWheel也充满疑问,Graviton 2能否为Presto集群提供优越性能和高性价比?张宇欣的答案是肯定的,并分享了一系列测试结果。单台机器的运行中,通过c6g.8xlarge和Correto11的完美配合,机器价格节约了28.8%;在集群CPU资源相同的情况下,Graviton 2带来了9%的性能提高,成本缩减20%;准生产环境下也得到了同样的优质结果。目前FreeWheel已经完成了准生产环境下的100%迁移,不止如此,张宇欣提到,Graviton已被大规模运用于FreeWheel的其他系统中,如广告预测平台、用户画像处理等。未来FreeWheel将开展Graviton在ETL处理平台运用效果的测试,最后张宇欣也表达了对Graviton的信心,未来将继续发挥Graviton的性价比优势,针对性优化应用及背后的运行时容器,力求更多突破性的赋能增长。
这是我的架构——直播周系列节目第二季第四集取得圆满成功。Graviton的强大性能为大数据领域提供了有力支撑,亚马逊云科技也将不断创新重构,为企业降本增效贡献科技力量。