Microsoft昨天宣布扩大Azure OpenAI服务的可用性。通过此次扩展,澳大利亚东部、加拿大东部、美国东部 2、日本东部和英国南部的客户将能够访问流行的 OpenAI 型号 GPT-4 和 GPT-35-Turbo。在此扩展之前,Azure OpenAI 服务在美国东部、法国中部、美国中南部和西欧可用。在最近的财报电话会议上,Microsoft宣布Azure OpenAI服务现在为11,000多家客户提供服务,平均每天吸引100名新客户。
Microsoft还宣布Azure ND H100 v5虚拟机(VM)系列正式发布,该系列具有最新的NVIDIA H100 Tensor Core GPU和NVIDIA Quantum-2 InfiniBand网络。此新 VM 系列专为 AI 工作负荷设计,现已在美国东部和美国中南部 Azure 区域推出。即使 VM 已正式发布,客户也必须注册其对访问新 VM 的兴趣。
ND H100 v5 虚拟机包括以下功能:
- 这些虚拟机配备了八个 NVIDIA H100 张量核心 GPU,承诺比前几代产品更快地实现 AI 模型性能。
- 第四代英特尔至强可扩展处理器是这些虚拟机的基础,可确保最佳处理速度。
- NVIDIA Quantum-2 ConnectX-7 InfiniBand 每 GPU 400Gb/s,每个虚拟机 3.2 Tb/s 的跨节点带宽,确保跨 GPU 的无缝性能,与全球顶级超级计算机的功能相匹配。
- 由于 PCIe Gen5 为每个 GPU 提供 64GB/s 的带宽,Azure 在 CPU 和 GPU 之间实现了显著的性能优势。
- DDR5 内存是这些虚拟机的核心,可提供更高的数据传输速度和效率,使其成为具有较大数据集的工作负载的理想选择。
- 与前几代中的 FP8 相比,使用新的 8 位 FP16 浮点数据类型时,矩阵乘法运算的加速率提高了六倍。
- 在 BLOOM 175B 端到端模型推理等大型语言模型中,加速速度提高了两倍,展示了它们进一步优化 AI 应用程序的潜力。
以上就是Azure OpenAI服务的可用性将在昨天被微软宣布扩大的详细内容,更多请关注编程网其它相关文章!