文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

Llama-2首个全方位评测,国内外开源模型大比拼

2024-11-30 10:56

关注

面对语言模型的新一波开源浪潮,图灵奖得主Yann Lecun在推特上评价:

This is going to change the landscape of the LLM market.

可是,开源模型的表现是否可以当得起业界的热切期待?

我们在拿到Llama-2的系列开源模型后,通过OpenCompass对它进行了全方位的评测(https://opencompass.org.cn)

Llama-2有多强

Llama-2相比Llama-1有不少技术层面的改进,从而带来了模型性能、推理效率以及安全性等方面的有效提升。具体而言,重要的改进有以下几点:

相比前代性能大增,仍难媲美ChatGPT

那么,Llama-2的整体能力究竟如何呢?

虽然在官方技术报告中已经展示了在20个左右数据集上的测试结果,但评价能力维度仍然有限,对比的模型也还不够全面。

这里我们借助开源评测工具OpenCompass,对Llama-2发布的各个模型在40多个评测集上进行了全方位的评测,从学科、语言、知识、理解、推理五大维度综合衡量大模型的能力。

结果可以总结为以下的雷达图:

下表列出Llama、Llama-2、以及ChatGPT在几个有代表性评测集上的表现:

更全面和详细的评测结果数字请参看https://opencompass.org.cn。

相比上代模型全面提升:

从综合能力角度,Llama-2-70B(绿色)相比于Llama-1-65B(紫色)更胜一筹,在语言、知识、推理、理解、学科等各个能力维度相比Llama-1都有明显提升。比如综合考试集MMLU上从63.71提升到69.75,GSM8K 上从54.51提升到63.46。

对话和基座模型基本持平:

经过微调和对齐的模型Llama-2-70B-Chat(黄色)相比基座模型Llama-2-70B(绿色),综合能力基本持平,在语言、推理和理解上相比基座有性能提升,在学科综合能力和知识能力上略有下降。比如翻译评测集Flores和代码评测集HumanEval上,Chat模型分别有超过40%和20%的相对提升,而在MMLU和TrivialQA上则有大约10%的相对降低。

离ChatGPT仍有较大差距:

相比ChatGPT-0613(蓝色)Llama-2-70B-Chat(黄色)仍需继续追赶,尤其在推理能力、理解能力、和学科综合能力上差距还比较明显。其中数学评测集MATH和代码评测集HumanEval的差距都超过了一倍。

中文能力短板明显

在Llama的训练语料中,中文占比较小,微调阶段也没有针对中文进行调优,所以当前Llama-2-Chat在中文问题上仍显不足。

一个典型的表现就是给定中文问题时,模型还是会以英文回答。

为了对Llama-2的中英文能力有更深入的理解,我们选取了OpenCompass中的中英文数据集进行分别分析。

结果显示:

安全对齐让模型过度谨慎

Llama-2的一大特色是它在训练过程中采用了比较完善的安全对齐方案,在价值对齐和安全性上有较大提升。

但在测试中我们也发现,Llama-2的安全性和模型能力的平衡没有做得特别好,模型非常谨小慎微,对于很多常见问题都拒绝回复

国内模型不落下风

近几个月,国内大模型发展迅速,多个企业和科研机构都发布了各自的大模型,其中不乏千亿参数的大模型。

那么国内大模型和Llama-2相比,究竟表现如何呢?很多朋友都关心这个问题。

重量级模型的对比

国内机构发布的70B或者更高量级的模型普遍尚未开源,很多模型只通过内测API提供有限服务,因此我们还很难获得对很多国产模型的全量评测数据。

在OpenCompass上,由上海人工智能实验室和商汤科技联合多所高校发布的千亿参数书生·浦语模型(InternLM-104B)已经有了全面的评测结果。

基于这个结果,我们比较了书生·浦语ChatGPTLlama-2的性能:

在重量级模型的对比中,书生·浦语表现优秀,在大部分主流评测集上领先于Llama-2以及ChatGPT。具体而言,在43个评测集中,InternLM-104B在34个评测集中超越ChatGPT,在41个评测集上超越Llama-2-70B。

中文考试大幅领先:

在中文考试评测集CEval和高考评测集GAOKAO-Bench上,InternLM-104B都大幅超过Llama2-70B。

语言能力略有优势:

在中英文的基础语言任务上,包括字词理解,成语习语,翻译等评测集上,InternLM-104B都有优势,其中中文评测集上差距更大。

阅读理解“书生”名副其实:

在中英文的各类阅读理解评测集上,InternLM-104B均表现出明显的优势,从文本段中总结和理解关键信息的能力更胜一筹。

推理能力技高一筹:

在常识推理、数学推理、综合推理的各种数据集上,InternLM-104B都有比较稳定的发挥,相比Llama2-70B有一定优势。

知识问答平分秋色:
在BoolQ,CommonSenseQA,TrivialQA,NaturalQuestion等知识问答评测集上,两个模型表现相当,可见知识水平没有明显差异。

代码能力互有胜负:

InternLM-104B和Llama2-70B的代码能力不相上下,HumanEval和 MBPP两个数据集上互有胜负。

轻量级模型的对比

重量级赛道上你追我赶,在7B量级的轻量级赛道上,开源模型的竞争也十分活跃。

在众多国内开源模型之中,百川智能发布的Baichuan-7B、清华大学和智谱AI发布的ChatGLM2-6B、上海人工智能实验室发布的InternLM-7B等优秀模型广受业界关注。

我们把这些国内模型和Llama-2-7B进行了全方位评测对比:

下表列出了这几个7B量级模型在几个有代表性评测集上的表现:

结果显示:Llama-2在知识能力上有明显优势。

但在学科、语言、推理和理解能力上,InternLM和ChatGLM2都已经超越了Llama-2,而且InternLM的领先优势十分明显。

免费商用形成星火之势

几个月前Llama的开源引爆了社区,让众多开发者和研究者受益匪浅,衍生出整个羊驼家族,但遗憾的是其协议限制商用,将企业拒之门外。

7月6日,世界人工智能大会上,书生浦语开源体系正式发布,开源了InternLM-7B并提供免费商用许可。

之后,ChatGLM2-6B和Llama2等开源模型相继推进免费商用,顺应了发展潮流和社区呼声。

信开源社区的星星之火将对产业形成燎原之势,进一步降低大模型落地应用的门槛。

来源:量子位内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯