审校 | 重楼
OpenAI的GPT-4和Anthropic的Claude 2等大语言模型(LLM)已经凭借其生成人类级文本的功能激发了公众的想象力。企业也同样热情高涨,许多企业在探索如何利用LLM改进产品和服务。然而,一大瓶颈严重制约了最先进的LLM在生产环境中的采用,那就是速率限制。有一些方法可以突破这种速率限制,但如果没有计算资源方面的改进,真正的进步可能不会到来。
承担成本
公共LLM API允许用户访问OpenAI和Anthropic等公司的模型,对每分钟可以处理的token(文本单位)的数量、每分钟的请求数量以及每天的请求数量施加了严格的限制。
对OpenAI GPT-4的API调用目前限制为每分钟3个请求(RPM)、每天200个请求,以及每分钟最多10000个token(TPM)。最高档允许10000 RPM和300000 TPM的限制。
针对每分钟需要处理数百万个token的大型生产级应用程序,这种速率限制使得企业使用最先进的LLM实际上行不通。请求不断增多,需要几分钟乃至几小时,无法进行任何实时处理。
大多数企业仍在竭力安全有效地大规模采用LLM。但是即使它们解决了数据敏感性和内部流程方面的挑战,速率限制也成为一个顽固的障碍。随着产品使用和数据的积累,围绕LLM开发产品的初创公司很快就会遇到瓶颈,但拥有庞大用户群的大企业受到的限制最大。如果没有特殊的访问机制,它们的应用程序根本无法运行。
该怎么办?
规避速率限制
一条路子是完全绕过速率限制技术。比如说,有些特定用途的生成式AI模型没有LLM瓶颈。总部位于英国牛津的初创公司Diffblue依赖没有速率限制的强化学习技术。它在一件事上做得非常好,非常有效,可能覆盖数百万行代码。它自主创建Java单元测试的速度是开发人员的250倍,编译速度是开发人员的10倍。
由Diffblue Cover编写的单元测试使您能够快速了解复杂的应用程序,从而使大企业和初创公司都能够满怀信心地进行创新,这对于将遗留应用程序迁移到云端是理想选择。它还可以自主地编写新代码、改进现有代码、加速CI/CD管道,在不需要人工审查的情况下深入洞察与变更相关的风险。这不赖。
当然,一些公司不得不依赖LLM。它们又有什么选择?
增加计算资源
一种选择就是请求提高公司的速率限制。到目前为止这个做法不错,但潜在的问题是,许多LLM提供商实际上没有额外的能力好提供。这是问题的症结所在。GPU可用性取决于来自台积电等代工厂的硅圆片总数。占主导地位的GPU制造商英伟达无法采购足够的芯片来满足AI工作负载带来的爆炸式需求,大规模推理需要成千上万个GPU组合在一起。
增加GPU供应量的最直接方法是建造新的半导体制造工厂,即所谓的晶圆厂。但是一座新的晶圆厂造价高达200亿美元,需要数年才能建成。英特尔、三星代工、台积电、德州仪器等主要芯片制造商正在美国建设新的半导体生产设施。眼下,所有人只能等待。
因此,利用GPT-4的实际生产部署很少。真正部署GPT-4的环境范围有限,它们使用LLM作为辅助功能,而不是作为核心产品组件。大多数公司仍在评估试点和概念验证。在考虑速率限制之前,本身就需要将LLM集成到企业工作流程中。
寻找答案
GPU制约限制了GPT-4的处理能力,这促使许多公司使用其他生成式AI模型。比如说,AWS拥有自己的专门用于训练和推理的芯片(一旦训练好就运行模型),从而为客户提供了更大的灵活性。重要的是,并不是每个问题都需要最强大、最昂贵的计算资源。AWS提供了一系列更便宜、更容易调优的模型,比如Titan Light。一些公司在探索替代方案,比如对Meta的Llama 2等开源模型进行微调。针对涉及检索增强生成(RAG)、需要将上下文附加到提示并生成响应的简单用例,功能较弱的模型就足够了。
另一些技术也有所帮助,比如跨多个具有较高限制的旧LLM并行处理请求、数据分块和模型蒸馏。有几种技术可以降低推理的成本、提高速度。量化降低了模型中权重的精度,权重通常是32位浮点数。这不是一种新方法。比如说,谷歌的推理硬件张量处理单元(TPU)只适用于权重被量化为8位整数的模型。该模型失去了一些准确性,但变得小巧得多,运行起来更快。
一种名为“稀疏模型”的新流行技术可以降低训练和推理的成本,耗费的人力比模型蒸馏更少。LLM好比是许多较小语言模型的集合。比如说,当您用法语向GPT-4询问问题时,只需要使用模型的法语处理部分,稀疏模型就利用了这个特点。
您可以做稀疏训练,只需要训练模型的法语子集,也可以做稀疏推理,只运行模型的法语部分。与量化一起使用时,这可以从LLM中提取更小的专用模型,这种模型可以在CPU而不是GPU上运行。GPT-4之所以出名,是由于它是一个通用文本生成器,而不是更狭窄、更特定的模型。
在硬件方面,专门针对AI工作负载的新处理器架构有望提高效率。Cerebras已经研制了一种巨大的晶圆级引擎,针对机器学习进行了优化,而Manticore正在改造制造商丢弃的“废弃”GPU芯片,以提供实用的芯片。
最终,最大的成效将来自需要更少计算的下一代LLM。结合经过优化的硬件,未来的LLM可以突破目前的速率限制障碍。目前,众多渴望的公司竞相要求利用LLM的功能,生态系统不堪重负。那些希望在AI领域开辟新道路的人可能需要等到GPU供应进一步趋缓之后。具有讽刺意味的是,这些限制可能恰恰有助于撇除围绕生成式AI的一些泡沫炒作,让这个行业有时间适应积极的模式,以便高效经济地使用它。
原文The biggest bottleneck in large language models,作者:Matt Asay