一般而言,AIGC指的是一类ML技术,可以创建与人类创造的内容非常相似的图像、音乐和文本等内容。另一方面,LLMs是具有数十亿个参数的神经网络,这些参数已经在大量文本数据上进行了训练,这使它们能够理解、处理和生成类似人类的语言。
总而言之,这些技术提供了一系列不同的应用,这些应用具有重塑不同行业的潜力,并提高了人与机器之间交互的效能。通过探索这些应用,企业领导者和决策者可以获得宝贵的灵感,推动业务加速增长,并通过快速原型制作实现明显改善的业务成果。AIGC的额外优势是,这些应用程序中的大多数只需要最低限度的专业知识,不需要进一步的模型培训。
快速声明:人们通常倾向于将第二代AI与ChatGPT联系在一起,但也有许多其他供应商的产品可供选择,如谷歌的T5、Meta的Llama、TII的Falcon和Anthropic的Claude。虽然本文中讨论的大多数应用程序都使用了OpenAI的ChatGPT,但你可以很容易地调整和切换底层LLMs,以与你特定的预算、延迟(你需要模型生成完成的速度——较小的模型允许更快的加载并减少推理延迟)和下游任务保持一致。
1、将LLMs连接到外部数据
在许多开箱即用的任务中表现出令人印象深刻的能力,例如翻译和汇总LLMs,而不需要进行初始定制。他们之所以如此擅长这些通用任务,是因为底层基础模型已经在大型但通用的数据集上进行了培训。然而,这种能力可能不会无缝地扩展到特定于领域的任务,例如,提供有关公司年度报告的答案。这就是检索增强生成(RAG)的用武之地。
RAG是一个框架,用于构建使用外部数据源的基于LLMs的系统。RAG使LLMs能够访问它在预培训期间不会看到的数据,但这对于正确提供相关和准确的响应是必要的。RAG通过将NLP能力与外部知识相结合,使语言模型(如ChatGPT)能够为特定领域的问题提供更好的答案,从而减少产生不准确信息或“幻觉”的情况。它通过以下方式实现这一点:
- 从外部知识来源检索相关信息,如大规模文献收藏、数据库或互联网。相关性基于对用户问题的语义相似度(例如,使用余弦相似度来衡量)。
- 将检索到的信息增加到提示中的原始问题(为回答问题提供有用的上下文),并将其传递给LLMs,以便它可以产生更知情、与上下文相关和更准确的回答。
这种方法使LLMs在不同的领域和应用程序中更加通用和有用,包括问题回答、内容创建和访问实时数据的交互式对话。播客应用Podurama也利用类似的技术来构建其AI支持的推荐聊天机器人。这些机器人熟练地根据用户的提问推荐相关节目,从播客文字记录中汲取见解来完善他们的推荐。
这种方法在危机管理中也很有价值。SaaS事件响应平台PagerDuty使用LLMs来使用、严重性或其他因素等基本数据生成事件摘要,并使用内部Slack Data 对其进行增强,响应者可以在LLMs中讨论细节并共享故障排除更新,以提高摘要的质量。
虽然RAG可能看起来很复杂,但LangChain库为开发人员提供了实现RAG和构建复杂问答系统所需的工具。(在许多情况下,你只需要一行代码即可开始)。LangChain是一个强大的库,可以通过提供对外部数据源的访问或连接到其他应用程序的现有API来增强和增强LLMs在运行时的性能。
当与开源LLMs(如Llama 2或Bloom)结合使用时,RAG成为处理机密文档的一种非常强大的架构。特别有趣的是,LangChain拥有120多个集成(在撰写本文时),支持与SQL、PDF、代码片段甚至YouTube视频的无缝集成。
2、将LLMs连接到外部应用程序
与利用外部数据源非常相似,LLMs可以与为特定任务量身定做的外部应用程序建立连接。当模型偶尔会因为过时的信息而产生不准确时,这一点尤为重要。例如,在询问英国现任首相时,ChatGPT可能会继续提到鲍里斯·约翰逊,尽管他已于2022年底离任。这一限制的产生是因为模型的知识是固定在其培训前阶段,并不包括培训后事件,如Rishi Sunak的任命。
为了应对这些挑战,可以通过代理将LLMs与外部世界相结合来增强它们。这些代理用于缓解LLMs固有的互联网接入不足,允许它们使用天气API(用于实时天气数据)或SerpAPI(用于网络搜索)等工具。Expedia的聊天机器人就是一个明显的例子,它可以引导用户发现和预订酒店,回答有关住宿的问题,并提供个性化的旅行建议。
另一个引人入胜的应用涉及自动实时标记带有特定属性的推文,如情绪、攻击性和语言。从营销和广告的角度来看,连接到电子商务工具的代理商可以帮助LLMs根据用户兴趣和内容推荐产品或套餐。
3、链接LLMs
对于大多数应用程序,LLMs通常是单独使用的。然而,最近LLMs链接在复杂应用中获得了吸引力。它涉及按顺序链接多个LLMs以执行更复杂的任务。每个LLMs在一个特定的方面都有专长,他们相互协作,以产生全面和精细化的产出。
这种方法已经被应用于语言翻译中,其中连续使用LLMs将文本从一种语言转换成另一种语言。像微软这样的公司已经提议在低资源语言的情况下为翻译服务提供LLMs链,从而实现对罕见单词的更准确和上下文感知的翻译。
这种方法还可以在其他领域提供几个有价值的用例。对于面向消费者的公司,LLMs链接可以创建动态的客户支持体验,从而增强客户互动、服务质量和运营效率。
例如,第一个LLMs可以对客户查询进行分类并将其分类,将它们传递给专门的LLMs以获得更准确的响应。在制造业中,物流链可以通过链接专门的物流链来优化端到端的供应链流程,以进行需求预测、库存管理、供应商选择和风险评估。
4、使用LLMs提取实体
在LLMs出现之前,实体提取依赖于涉及数据收集、标记和复杂模型训练的劳动密集型ML方法。这一过程既繁琐又耗费资源。然而,随着LLMs的出现,这种模式发生了变化。现在,实体提取被简化为仅仅是提示,用户可以毫不费力地查询模型以从文本中提取实体。更有趣的是,当从PDF之类的非结构化文本中提取实体时,你甚至可以在提示符中定义感兴趣的架构和属性。
潜在的例子包括金融机构可以利用LLMs从新闻文章中提取关键的金融实体,如公司名称、股票代码和金融数字,从而实现及时和准确的市场分析。同样,广告/营销机构可以使用它来管理其数字资产,方法是采用LLMs驱动的实体提取来对广告剧本、演员、位置和日期进行分类,从而促进高效的内容索引和资产重用。
5、通过反应提示提高LLMs的透明度
虽然收到LLMs的直接回复无疑是有价值的,但黑匣子方法的不透明经常引起用户的犹豫。此外,当面对对复杂查询的不准确响应时,准确地确定失败的步骤变得具有挑战性。系统地分解这一过程可以极大地帮助调试过程。这正是原因和行动(Reaction)框架发挥作用的地方,为这些挑战提供了解决方案。
Reaction强调一步一步的推理,让LLMs像人类一样生成解决方案。目标是让模型像人类一样思考任务,并使用语言解释其推理。人们可以很容易地操作这种方法,因为生成反应提示是一项简单的任务,涉及人类注释员用自然语言表达他们的想法,以及他们执行的相应操作。只有少数几个这样的例子,该模型学会了很好地对新任务进行泛化。
受这一框架的启发,许多教育技术公司正在试行工具,为学习者提供个性化的课程作业和作业帮助,以及教师AI支持的课程计划。为此,可汗学院开发了KhanMico,这是一个聊天机器人,旨在指导学生完成数学问题和编程练习。Khanmio不只是根据要求提供答案,而是通过引导学生完成推理过程来鼓励深思熟虑的问题解决。这种方法不仅有助于防止抄袭,而且使学生能够独立掌握概念。
结论
虽然关于AI取代人类的潜力或最终实现技术奇点的辩论可能仍在进行中(正如AI教父杰弗里·辛顿所预测的那样),但有一件事是肯定的:LLMs无疑将在加快一系列领域中各种任务的完成方面发挥关键作用。它们有能力提高效率、培养创造力和改进决策过程,同时简化复杂的任务。
对于担任各种技术角色的专业人士,如数据科学家、软件开发人员和产品所有者,LLMs可以提供宝贵的工具来简化工作流程、收集见解并释放新的可能性。