文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

首个可商用的32k上下文开源大模型「长颈鹿」来了,两万词长文不在话下

2024-11-30 09:22

关注

上下文长度外推是指使用较短上下文长度训练过的 LLM,在较长语上下文长度上进行评估,而不针对长上下文做进一步训练。其中,大多数研究都侧重于修改注意力机制中的位置编码系统。

现在,来自 Abacus.AI 的研究团队对现有基于 LLaMA 或 LLaMA 2 模型的上下文长度外推方法进行了广泛的调查,并提出一种新的 truncation 策略。


为了验证这种 truncation 策略的有效性,该研究发布了三个新的 13B 参数长上下文模型 ——Giraffe,包括两个基于 LLaMA-13B 训练而成的模型:上下文长度分别为 4k 和 16k;一个基于 LLaMA2-13B 训练而成的模型,上下文长度是 32k,该模型也是首个基于 LLaMA2 的 32k 上下文窗口开源 LLM。

Abacus.AI 的 CEO Bindu Reddy 在推特介绍道。

32k 的上下文窗口是什么概念呢?大概就是 24000 个词,也就是说开源模型 Giraffe 能够处理一篇 2 万字的长文。

图源:https://twitter.com/akshay_pachaar/status/1694326174158143619

方法简介

随着上下文长度的扩展,LLM 架构中的注意力机制会让内存使用量和计算量呈二次增加,因此长度外推方法至关重要。

该研究整理了当前一些有效的上下文长度外推方法,并对它们进行了全面的测试,以确定哪些方法最有效,包括线性缩放、xPos、随机位置编码等。并且,研究团队还提出了几种新方法,其中一种称为 truncation 的新方法在测试中非常有效。

首先,评估 LLM 性能的难点之一是选择正确的评估方法,一个常用的指标是下一个 token 的困惑度,它能够衡量模型根据上下文预测下一个 token 的能力。然而,研究团队认为,通常只需根据整个可用上下文中的一小部分,生成合理连贯的文本分布,就能在该指标上获得良好的结果,因此不适用于长上下文。

为了分析模型在长上下文情况下的性能,该研究使用模型召回(recall)的准确率作为衡量指标,并发布了三个用于评估模型长上下文性能的数据集,分别是 LongChat-Lines、FreeFormQA 和 AlteredNumericQA。其中,LongChat-Lines 用于键 - 值检索任务;FreeFormQA 和 AlteredNumericQA 则是基于自然问题数据集的问答数据集。这三个数据集可以评估 LLM 在键 - 值检索任务和问题解答任务上的能力,模型关注的上下文长度越长,获得的准确率才会越高。

实验及结果

研究团队使用上述三个新数据集对几种上下文长度外推方法进行了评估实验。在 LongChat-Lines 上的实验结果如下表 1 所示:

在 FreeFormQA 和 AlteredNumericQA 数据集上的评估结果如下表 2 和表 3 所示:

总体而言,线性缩放效果最好,truncation 显示出一些潜力,而 xPos 方法无法在微调中自适应。

感兴趣的读者可以阅读论文原文,了解更多研究内容。

来源:机器之心内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯