为了满足边缘AI带来的算力需求，Arm推出了新一代 Ethos-U AI加速器及全新物联网参考设计平台，加速推进边缘 AI 发展进程。
边缘AI带来的机遇与挑战
在边缘端部署人工智能应用，将给我们的生活和工作带来无限可能。
本次交流会上，马健从智能家居应用场景出发介绍了边缘AI带来的新机遇。她表示，在智能家居应用中，人们目前大多通过智能手机中的不同应用来手动控制各种电器开关与设置。未来，AI 模型就像一个家庭“大脑”，可以综合家里各类传感器、摄像头，以及外部天气、家人喜好、自然语言命令等多种输入，更安全、更节能地营造个性化的家居环境。
此外，AI 和大模型将使零售业变得更加智能化、个性化和自动化。通过个性化购物体验、智能库存管理、动态定价策略、线上线下无缝整合，以及自动化运营等，带来更高的效率和更卓越的客户体验。AI 和大模型还有望推动工业 4.0 向工业 5.0 的转变，实现智能化生产线、精准的质量控制、个性化定制生产、供应链优化、自主维护与远程监控、人机协作、节能减排，以及新材料和工艺的开发等，为制造业带来一场深刻的变革。
马健强调，虽然边缘AI带来了很多机遇，但同样也面临着很多挑战。
第一，在设计边缘 AI 芯片和系统时，需要在计算能力和能效之间找到合适的平衡。
第二，高性能的处理能力往往伴随着更高的功耗，而边缘设备往往对功耗和成本都有着严格限制。
第三，越来越多的数据在边缘被处理，数据安全和隐私保护变得尤为重要。因此，边缘AI要求芯片设计时必须包含加密和安全功能。
第四，由于边缘AI用例五花八门，为了更好地统一多样化的应用要求，达到规模化效益，软件定义和适于软件移植的标准更是必不可少。
为了帮助用户解决部署边缘AI的各种挑战，Arm在 IP、参考设计和软件标准上持续投入，不但持续推出了高性能低功耗的各类产品，而且还从软件、工具和生态等各个维度入手，用最简单的方式帮助用户应对挑战，推动边缘AI的发展。
重磅发布新一代Ethos-U AI加速器
为了解决性能、功耗和安全等边缘AI面临的各项挑战，Arm重磅发布了新一代Ethos-U AI加速器。
据马健介绍，与上一代产品相比，Ethos-U85 性能提升四倍，能效提高 20%，同时，其 MAC 单元可从 128 个扩展到 2048 个（在 1GHz 时，算力实现 4 TOPs），能够为诸如工厂自动化和商用或智能家居摄像头等需要更高性能的应用提供有力的支持。Ethos-U85提供了相同的一致工具链，因此合作伙伴能够利用现有的投资，达到无缝的开发者体验。更重要的是，全新 Ethos-U85 NPU 支持了 TensorFlow Lite 和 PyTorch 等 AI 框架。
马健表示，Ethos-U85不仅仅提供卷积神经网络 (CNN) 所需的权重矩阵乘的运算，还支持矩阵相乘，这是 Transformer 架构网络的一个基本组成部分。基于 Transformer 的模型具有优异的泛化功能，它将更快地驱动新 AI 应用的发展。Transformer 在视觉和生成式 AI 用例中，比如视频理解、图文结合，图像增强与生成、图像分类和目标检测等方面都极有价值。
“Transformer 架构网络的注意力机制容易利用并行计算来实现，提高硬件使用效率，使得这些模型能够部署在计算资源有限的边缘设备上。” 马健表示，开发者可以通过选用针对 Transformer 架构网络优化的设计，发掘边缘 AI 的新机遇，使这些应用享有更快的推理、更优化的模型性能和可扩展性。
除此之外，在高性能边缘计算系统中，应用处理器、标准操作系统、高级开发语言的部署变得越来越多。由于这种模式更有利于云原生开发和云边端负载调度，尤其是在处理数据量日益增长的 AI 应用系统中，这个趋势尤为显著。Ethos-U85 专为与 Arm 领先的 Armv9 Cortex-A CPU 相结合而设计，将为基于应用处理器的智能物联网平台上运行的 AI 任务实现加速，能够在工业机器视觉、边缘网关、可穿戴设备和消费类机器人等应用中带来高效能的边缘推理能力。
据了解，Arm Ethos NPU 系列产品已有逾 20 家授权许可合作伙伴，其中，Alif Semiconductor 和英飞凌成为全新 Arm Ethos-U85 NPU 的早期采用者。
Corstone-320全新物联网参考设计平台
除了发布全新的Ethos-U85 AI加速器之外，Arm还同步推出了Corstone-320全新物联网参考设计平台，以此来加速语音、音频和视觉系统的部署。
据了解，Arm Corstone-320 物联网参考设计平台集成了 Arm 最高性能的 Cortex-M CPU——Cortex-M85、Mali-C55 ISP和全新的 Ethos-U85 NPU，为语音、音频和视觉等广泛的边缘 AI 应用提供了所需的性能，例如实时图像分类和目标识别，或在智能音箱上启用具有自然语言翻译功能的语音助手。
马健表示，Arm Corstone-320 物联网参考设计平台涵盖了软件、工具和支持，其中包括 Arm 虚拟硬件。该平台的软硬件结合特性将使开发者能够在物理芯片就绪前便启动软件开发工作，从而加速推进产品进程，为日益复杂的边缘 AI 设备缩短上市时间。
“Corstone-320 不仅提供芯片计算子系统 IP 组合，还附带了软件、AI 模型库和开发工具，以实现软件的复用，同时，该平台利用了 Arm 强大的生态系统，附带了仿真 Corstone-320 完整系统的 Arm 虚拟硬件，以及单独的 CPU 和 NPU 的固定虚拟平台 (FVP) 模型，以简化开发并加速产品设计，支持软硬件并行协同开发。” 马健表示，这种提供边缘 AI 和智能物联网计算子系统全套软硬件和工具链的方法，使得我们的合作伙伴能够在一系列性能点上快速开发，并聚焦于打造差异化价值。
据马健介绍，目前全球约有 90% 的 AI 都运行在基于 Arm 架构的 CPU 上，这些持续投入使 Arm 成为全球最普遍的 AI 计算平台之一，吸引了越来越多的开发者加入，而 Arm 也将与生态伙伴们砥砺奋进，释放前所未有的 AI 潜力。
“智能必须无处不在，云边端缺一不可。Arm 推出的 Ethos-U85 以及 Corstone-320， 旨在加速 AI 系统的快速落地，促进未来多模态智能应用的全方位部署。” 采访最后，马健如是说。
