文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

谈谈GPT 模型背后以数据为中心的 AI

2024-11-30 16:09

关注

虽然很难忽视 LLM 不断增加的模型规模,但同样重要的是要认识到,他们的成功很大程度上归功于用于训练他们的大量高质量数据。

在本文中,我们将从以数据为中心的 AI 角度概述 LLM 的最新进展。我们将通过以数据为中心的 AI 视角研究 GPT 模型,这是数据科学界中一个不断发展的概念。我们通过讨论三个以数据为中心的 AI 目标:训练数据开发、推理数据开发和数据维护,来揭示 GPT 模型背后以数据为中心的 AI 概念。

大型语言模型 (LLM) 和 GPT 模型

LLM 是一种自然语言处理模型,经过训练可以在上下文中推断单词。例如,LLM 最基本的功能是在给定上下文的情况下预测缺失的标记。为此,LLM 接受了训练,可以从海量数据中预测每个候选单词的概率。下图是在上下文中使用 LLM 预测丢失标记的概率的说明性示例。

GPT模型是指OpenAI创建的一系列LLM,如GPT-1、GPT-2、GPT-3、InstructGPT、ChatGPT/GPT-4等。与其他 LLM 一样,GPT 模型的架构主要基于Transformers,它使用文本和位置嵌入作为输入,并使用注意力层来模拟令牌的关系。

GPT-1 模型架构

后来的 GPT 模型使用与 GPT-1 类似的架构,除了使用更多模型参数和更多层、更大的上下文长度、隐藏层大小等。

什么是以数据为中心的人工智能

以数据为中心的 AI是一种新兴的思考如何构建 AI 系统的新方法。以数据为中心的人工智能是系统地设计用于构建人工智能系统的数据的学科。

过去,我们主要专注于在数据基本不变的情况下创建更好的模型(以模型为中心的 AI)。然而,这种方法在现实世界中可能会导致问题,因为它没有考虑数据中可能出现的不同问题,例如标签不准确、重复和偏差。因此,“过度拟合”数据集不一定会导致更好的模型行为。

相比之下,以数据为中心的人工智能专注于提高用于构建人工智能系统的数据的质量和数量。这意味着注意力在数据本身,模型相对更固定。使用以数据为中心的方法开发人工智能系统在现实场景中具有更大的潜力,因为用于训练的数据最终决定了模型的最大能力。

需要注意的是,“以数据为中心”与“数据驱动”有着根本的区别,后者只强调用数据来指导人工智能的发展,通常仍以开发模型而不是数据为中心。

以数据为中心的人工智能与以模型为中心的人工智能之间的比较

以数据为中心的 AI 框架包含三个目标:

以数据为中心的 AI 框架

为什么以数据为中心的 AI 使 GPT 模型成功

几个月前,Yann LeCun 在推特上表示 ChatGPT 并不是什么新鲜事。事实上,ChatGPT 和 GPT-4 中使用的所有技术(变压器、从人类反馈中强化学习等)一点都不新鲜。然而,他们确实取得了以前模型无法实现的结果。那么,他们成功的原因什么?

训练数据开发。通过更好的数据收集、数据标记和数据准备策略,用于训练 GPT 模型的数据的数量和质量有了显着提高。

推理数据开发。由于最近的 GPT 模型已经足够强大,我们可以通过在模型固定的情况下调整提示或调整推理数据来实现各种目标。例如,我们可以通过提供要总结的文本以及诸如“总结它”或“TL;DR”之类的指令来引导推理过程,从而进行文本摘要。

及时调整

设计正确的推理提示是一项具有挑战性的任务。它严重依赖启发式方法。一个很好的调查总结了不同的促销方法。有时,即使是语义相似的提示也会有非常不同的输出。在这种情况下,可能需要基于软提示的校准来减少方差。

LLM推理数据开发的研究仍处于早期阶段。在不久的将来,可以在 LLM 中应用更多已用于其他任务的推理数据开发技术。

数据维护。ChatGPT/GPT-4作为商业产品,不仅训练一次,而且不断更新和维护。显然,我们无法知道在 OpenAI 之外如何进行数据维护。因此,我们讨论了一些通用的以数据为中心的 AI 策略,这些策略已经或将很可能用于 GPT 模型:
- 连续数据收集:当我们使用 ChatGPT/GPT-4 时,我们的提示/反馈可能反过来被 OpenAI 使用进一步推进他们的模型。可能已经设计并实施了质量指标和保证策略,以在此过程中收集高质量数据。
- 数据理解工具:可以开发各种工具来可视化和理解用户数据,促进更好地了解用户需求并指导未来改进的方向。
- 高效的数据处理:随着ChatGPT/GPT-4用户数量的快速增长,需要一个高效的数据管理系统来实现快速的数据采集。

上图是ChatGPT/GPT-4 通过“赞”和“不赞”收集用户反馈的示例。

数据科学界可以从这波 LLM 浪潮中学到什么

LLM的成功彻底改变了人工智能。展望未来,LLM可以进一步彻底改变数据科学生命周期。我们做出两个预测:

许多繁琐的数据科学工作可以在LLM的帮助下更有效地进行。例如,ChaGPT/GPT-4 已经可以编写可工作的代码来处理和清洗数据。此外,LLM 甚至可以用于创建训练数据。例如使用 LLM 生成合成数据可以提高文本挖掘中的模型性能。

来源:数据驱动智能内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯