根据戴尔9月份对IT决策者的一项调查,76%的人表示,GenAI将对他们的公司产生“重大”影响,大多数人预计在未来12个月内将看到有意义的结果。
大型语言模型(LLM)是一种关注文本和代码而不是图像或音频的GenAI,尽管一些模型已经开始集成不同的形式。当今公司中最受欢迎的LLM是ChatGPT和其他OpenAI GPT模型,Anthropic的Claude,Meta的Llama 2,以及来自Abu Dhabi技术创新研究所的开源模型Falcon,该模型以支持英语以外的语言而闻名。
公司有几种部署LLM的方式,比如允许员工访问公共应用程序,使用Prompt工程和API将LLM嵌入现有软件,使用矢量数据库提高准确性和相关性,微调现有模型,或者构建自己的LLM。
部署公有LLM
Dig Security是一家以色列云数据安全公司,其工程师使用ChatGPT编写代码,首席执行官Dan Benjamin说:“每个工程师都会用东西来帮助他们更快地编写代码。”而ChatGPT是最早也是最简单的编码助手之一,但它有一个问题——你永远不能确定你上传的信息是否不会被用于培训下一代模型。Dig Security通过两种方式解决了这一可能性,首先,该公司使用安全网关来检查上传了哪些信息。
“我们的员工知道他们不能上传任何敏感的东西,”Benjamin说。“它被封住了。”
其次,该公司将其工程师输送到运行在Azure私有云上的ChatGPT版本,这意味着Dig Security拥有自己的独立ChatGPT实例。Benjamin说,即使用这种腰带和吊带的方法来确保安全,这也不是一个完美的解决方案。“没有完美的解决方案。任何认为存在的公司,都是在自欺欺人。
例如,某人可以使用VPN或个人计算机访问ChatGPT的公有版本,这就是另一种程度的风险缓解的用武之地。
“这一切都是关于员工培训,”他说,“并确保他们了解自己需要做什么,并在数据安全方面接受过良好的培训。”
Dig Security公司并不孤单。
加州SkyHigh Security公司营销总监Tracy Holden表示,2023年上半年,近100万最终用户通过公司基础设施访问了ChatGPT,用户数量在1-6月之间增长了1500%。
在Netskope Threat Labs 7月份的一份报告中,发布到ChatGPT的源代码比任何其他类型的敏感数据都多,每月每10000个企业用户发生158起事件。
最近,公司已经得到了更安全、更适合企业的选择,比如微软的Copilot,它将易用性与额外的控制和保护结合在一起。在11月初的OpenAI DevDay上,首席执行官Sam Altman表示,目前有1亿活跃用户在使用该公司的ChatGPT聊天机器人,200万开发者在使用其API,超过92%的财富500强公司都在使用OpenAI平台。
矢量数据库和RAG
对于大多数希望定制LLM的公司来说,检索增强生成(RAG)是可行的。如果有人在谈论嵌入或向量数据库,这就是他们通常的意思,它的工作方式是用户提出一个问题,比如说,关于公司的政策或产品,这个问题并不是马上就交给LLM的,相反,它首先被处理,用户是否有权访问该信息?如果有访问权,则通常从矢量数据库中检索所有可能相关的信息,然后,问题和相关信息被发送到LLM,并嵌入到优化提示中,该优化提示还可以指定LLM应该使用的回答和语气的优选格式。
矢量数据库是一种在一系列列表中组织信息的方式,每个列表都按不同的属性排序,例如,你可能有一个按字母顺序排列的列表,你的回复越接近字母顺序,它们就越相关。
按字母顺序排列的列表是一维向量数据库,但向量数据库可以有无限多个维度,使你可以根据它们与任意数量的因素的接近程度来搜索相关答案,这使得它们非常适合与LLM一起使用。
Salesloft是一家销售平台供应商,其首席产品和工程官Ellie Fields表示:“目前,我们正在将所有内容转换为矢量数据库。是的,它们正在发挥作用。”
而且,它比使用简单的文档为LLM查询提供上下文更有效,她说。
该公司主要使用ChromaDB,这是一个开源的矢量存储,主要用于LLM。Salesloft使用的另一个矢量数据库是PgVECTOR,这是针对PostgreSQL数据库的矢量相似性搜索扩展。
“但我们也用FAISS和Pinecone做了一些研究,”她说。FAISS,或Facebook AI Similarity Search,是Meta提供的一个开源库,支持多媒体文档中的相似性搜索。
Pinecone是一个专有的基于云的矢量数据库,也受到开发人员的欢迎,它的免费层支持多达10万个矢量。一旦从矢量数据库中检索到相关信息并嵌入到提示符中,查询就会被发送到在Microsoft Azure上的私有实例中运行的OpenAI。
“我们将Azure认证为我们平台上的新子处理器,”Fields说。“当我们为客户的信息配备了新的处理器时,我们总是让他们知道。”
但Salesloft也与谷歌和IBM合作,并正在开发也使用这些平台的GenAI功能。
“我们肯定会与不同的供应商和不同的模式合作,”她说。情况一周又一周在变化。如果你不看不同的车型,你就错失良机了。因此,RAG允许企业将他们的专有数据与模型本身分开,随着更好的模型的发布,更容易交换模型。此外,矢量数据库甚至可以实时更新,而不需要对模型进行更多的微调或重新训练。
“我们已经更换了模型,从OpenAI到Azure上的OpenAI,”Fields说,“我们已经在不同的OpenAI模型之间进行了切换,我们甚至可能针对我们的客户群的不同部分支持不同的型号。”
她补充说,有时不同的型号有不同的API。“这不是小事,”她说,但换掉一个模型仍然比再培训容易。“我们还没有找到一个用例来更好地服务于微调,而不是矢量数据库,”Fields补充道。“我相信有一些用例,但到目前为止,我们还没有找到性能更好的用例。”
Salesloft推出的LLM的首批应用之一是添加了一项功能,允许客户向潜在客户生成销售电子邮件。“客户花了很多时间来写这些电子邮件,”Fields说。“它很难开始,而且有很多作家的障碍。”因此,现在客户可以指定目标角色、他们的价值主张和行动号召-他们会收到三封可以个性化的不同草稿电子邮件。Fields说,Salesloft使用OpenAI的GPT 3.5撰写这封电子邮件。
本地运行的开源模型
总部位于波士顿的Ikigai Labs提供了一个平台,允许公司构建定制的大型图形模型,或设计用于处理结构化数据的人工智能模型,但为了使界面更易于使用,Ikigai在其前端安装了LLM,例如,该公司使用了Falcon开源LLM的70亿参数版本,并在自己的环境中为一些客户运行它。
为了向LLM提供信息,Ikigai使用了也在本地运行的矢量数据库,它建立在边界森林算法的基础上,联合创始人兼联合首席执行官Devavrat Shah说。
“四年前在麻省理工学院,我和我的一些学生尝试了大量的矢量数据库,”同时也是麻省理工学院人工智能教授的Shah说,“我知道它会有用的,但没这么有用。”
他表示,将模型和矢量数据库都保存在本地意味着数据不会泄露给第三方。“对于那些愿意向他人发送查询的客户,我们使用OpenAI,”Shah说。“我们是不可知论者。”
构建了自己的ChatPWC工具的普华永道,也是LLM不可知论者。“ChatPWC让我们的员工更有能力,”该公司合伙人、Gen AI Go-Market战略负责人Bret Greenstein说,例如,它包括用于生成职位描述的预置提示。“它有我所有的格式、模板和术语,”他说,“我们有人力资源、数据和提示专家,我们设计的东西能产生非常好的招聘信息。现在,没有人需要知道如何使用令人惊叹的提示语来生成职位描述。”
该工具是基于Microsoft Azure构建的,但该公司也为谷歌云平台和AWS构建了它。“我们必须为我们的客户服务,他们存在于每个云上,” Greenstein说。同样,它也进行了优化,在后端使用不同的型号,因为这是客户想要的。他补充说:“我们让每一种模式都能发挥作用。Llama 2,Falcon——我们什么都有。”
当然,市场变化很快,Greenstein建议企业对他们的人工智能部署采取“不后悔”的政策。
“人们可以做很多事情,”他说,“比如建立独立于模型的数据,以及建立治理。”然后,当市场发生变化,一种新的模式出现时,数据和治理结构仍将是相关的。
微调
管理咨询公司AArete采用了开源模型GPT 2,并根据自己的数据对其进行了微调。该公司负责数字技术服务的副总裁Priya Iragavarapu说:“这是轻量级的。我们想要一个开源的,能够在我们的环境中获取并发布它的软件。”
如果AArete使用托管模型并通过API连接到它,则会出现信任问题。她说:“我们担心来自提示的数据可能最终会出现在哪里,我们不想冒这些风险。”
在选择开源模型时,她会考虑以前的下载次数、社区支持和硬件要求。
她说:“基础模式也应该有一些任务相关性。”有一些模型适用于特定的任务。例如,我最近研究了一个拥抱脸模型,它可以将PDF中的内容解析为结构化格式。
金融界和医疗保健行业的许多公司都在根据自己的额外数据集对LLM进行微调。
她说:“基本的LLM是在整个互联网上接受培训的。”通过微调,公司可以创建专门针对其业务用例的模型。
一种常见的方法是创建一个问题和答案的列表,并根据这些问题和答案微调一个模型。事实上,OpenAI在8月份开始允许使用问答方法对其GPT 3.5型号进行微调,并在11月的DevDay上推出了一套新的GPT 4微调、定制和RAG选项。
这对于客户服务和帮助台应用程序特别有用,在这些应用程序中,公司可能已经拥有常见问题数据库。
同样在戴尔的调查中,21%的公司更愿意在自己的环境中使用自己的数据来重新培训现有模型。
Constellation Research公司副总裁兼首席分析师Andy Thurai说:“最受欢迎的选择似乎是Llama 2。” Llama 2有三种不同的尺寸,对于月用户少于7亿的公司是免费的,公司可以在自己的数据集上对其进行微调,并相当快地推出新的定制模型,他表示。事实上,Hugging Face LLM排行榜目前由Llama 2的不同微调和定制主导。在Llama 2之前,Falcon是最受欢迎的开源LLM,他补充道。“现在是一场军备竞赛。”他说,微调可以创建一个针对特定业务用例更准确的模型。“如果你使用的是一个广义的Llama模型,精度可能会很低。”
与RAG嵌入相比,微调也有一些优势。在嵌入的情况下,公司必须对每个查询进行矢量数据库搜索。“而且你已经有了数据库的实现,” Thurai说。“这也不是一件容易的事。”
微调也没有上下文窗口限制。有了嵌入,可以添加到提示符的信息就只有这么多了。如果一家公司确实进行了微调,他们不会经常这样做,就在基础人工智能模型的显著改进版本发布时。
最后,如果一家公司有一个快速变化的数据集,可以结合嵌入使用微调。“你可以先对其进行微调,然后对增量更新进行RAG,”他说。
Forrester Research分析师Rowan Curran预计,在未来一年左右的时间里,将出现大量微调的、特定于领域的模型,公司还可以提炼模型,使其在特定任务中更有效率,但他说,只有一小部分公司——10%或更少——会这么做。
普华永道的Greenstein表示,开发SaaS应用等应用的软件公司可能会进行微调。“如果你有一个高度可重复的模式,微调可以降低你的成本,”他说,但对于企业部署,RAG在90%到95%的情况下效率更高。
加拿大企业搜索和推荐公司Coveo的ML副总裁Sebastien Paquet补充道:“我们实际上正在研究针对特定垂直市场的微调模型。”我们有一些专门的垂直领域有专门的词汇,比如医学垂直领域。销售卡车零部件的企业有自己的零部件命名方式。
然而,就目前而言,该公司使用的是在Azure私有云上运行的OpenAI的GPT 3.5和GPT 4,并隔离了LLM API调用,以便Coveo可以在需要时切换到不同的型号。它还针对特定的用例使用了一些来自Hugging Face的开源LLM。
从头开始构建LLM
很少有公司会从头开始建立自己的LLM,毕竟,根据定义,它们是相当大的。OpenAI的GPT 3具有1750亿个参数,并在45TB的数据集上进行训练,训练成本为460万美元。据OpenAI首席执行官Sam Altman称,GPT 4的成本超过1亿美元。
正是这种大小赋予了LLM魔法和处理人类语言的能力,具有一定程度的常识,以及遵循指令的能力。
“你不能仅仅靠自己的数据来训练它,”Insight的杰出工程师Carm Taglienti说。“在数千万参数上进行训练是有价值的。”
今天,几乎所有的LLM都来自大型超大规模公司或OpenAI和Anthropic等专注于人工智能的初创公司。
即便是在构建自己的模型方面拥有丰富经验的公司,也不愿创建自己的LLM。
例如,Salesloft多年来一直在构建自己的人工智能和机器学习模型,包括使用更早技术的GenAI模型,但对从头开始构建全新的尖端基础模型犹豫不决。
“这是一个巨大的计算步骤,至少在这个阶段,我认为我们还没有开始。”Fields说。