文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

一行代码提高大模型10%性能,开发者:免费午餐

2024-11-30 05:57

关注

在7B参数量的Llama 2上甚至出现了性能翻倍的结果,Mistral也有四分之一的增长。

虽然这种方法用在监督微调阶段,但RLHF模型也能从中受益。

来自马里兰州大学、纽约大学等机构的研究人员提出了名为NEFT(une)的微调方式。

这是一种新的正则化技术,可以用于提高微调监督(SFT)模型的性能。

这种方法已经被HuggingFace收录进了TRL库,只要import再加一行代码就能调用。

NEFT不仅操作简便,而且没有显著的成本增加,作者称看起来是个“免费的午餐”。

有网友试着用这种方法微调了基于Guanaco(一种羊驼家族模型)的Mistral-7B,结果性能提升明显。

那么,NEFTune是如何用一行代码给一众大模型“打鸡血”的呢?

向模型中加入噪声

NEFTune的全称是Noisy Embedding Fine Tuning,即“带噪声的嵌入式微调”。

开发者认为,过拟合现象是限制大模型性能的一大因素,因此采用在训练阶段向嵌入层中加入噪声的方式来避免过拟合的出现,从而提高性能。

具体而言,训练数据库中的文本首先会被token化,并转化为嵌入向量。

然后,系统会随机生成一个噪声向量,并用缩放器将噪声调节成所设置的强度。

经过缩放后的噪声会加入到嵌入向量中,作为模型的输入,然后开始训练。

每次迭代训练时,都会生成新的噪声并加入到嵌入层中。

from torch.nn import functional as F

def NEFTune(model, noise_alpha=5)
    def noised_embed(orig_embed, noise_alpha):
        def new_func(x):
            if model.training:
                embed_init = orig_embed(x)
                dims = torch.tensor(embed_init.size(1) * embed_init.size(2))
                mag_norm = noise_alpha/torch.sqrt(dims)
                return embed_init + torch.zeros_like(embed_init).uniform_(-mag_norm, mag_norm)
            else:
                return orig_embed(x)
        return new_func
    model.base_model.model.model.embed_tokens.forward = noised_embed(model.base_model.model.model.embed_tokens, noise_alpha)
return model

这段代码中,NEFTune函数中的形参noise_alpha就是噪声强度(系数),mag_norm则为实际过程中的噪声范围。

而NEFT只有在训练过程中才会向模型中加入噪声,推理阶段无此过程,代码中的if语句起到的就是这个作用。

训练模式下,new_func函数的返回值即为加入噪声后的嵌入层。

贴出这段代码是为了讲解需要,如果只是想调用NEFT,可以不必使用上面的完整代码,直接从TRL库中调用就可以了。

下面的代码是微调OPT-350M模型的一个示例:

from datasets import load_dataset
from trl import SFTTrainer

dataset = load_dataset("imdb", split="train")

trainer = SFTTrainer(
    "facebook/opt-350m",
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=512,
)
trainer.train()

而数据集方面,开发者一共使用了Alpaca、ShareGPT等四种不同数据集进行了微调。

作者介绍,选择这些数据的原因包括它们比较著名、曾成为SOTA等等。

此外出于硬件性能考虑,实验过程中所选择的都是单轮对话数据集。

那么,用NEFT方法调校过后的大模型,表现到底怎么样呢?

性能最高提升1倍

研究团队主要测试了模型调校前后生成的文本质量和对话能力。

其中文本质量主要基于AplacaEval数据集,使用ChatGPT和GPT-4评估。

用作参照的模型是Text-Davinci-003,训练后的模型胜过TD3的比例即为评价指标。

为了节约资源,研究团队先用ChatGPT判断是自己来评价还是调用GPT-4,部分情况下还会人工评判。

结果在不同的训练数据集中,Llama 2调整后都有至少10%的性能提升,在Alpaca数据集上更是直接翻倍。

推广到OPT和Llama 1,NEFT方法同样可以带来一定的性能提升。

而用于评估模型聊天能力的,则是OpenLLM Leadorboard中的任务。

结果发现,NEFT调整后模型的聊天能力同样相比Evol-Instruct有进一步提升。

在成本没有显著增加的情况下,提高文本质量和聊天能力,是否会导致其他能力的下降,作者对此也进行了评估。

结果显示,NEFT方法在不同的数据集和模型上,对模型的其他能力均没有显著影响。

实验过程中,作者还发现,模型生成的文本和并不是照搬训练数据,提示了模型具有一定泛化能力。

为了证实这一点,作者对模型损失进行了评估,结果发现测试数据集损失低于训练数据,证实了这一观点。

此外作者发现,经NEFT调整之后,模型生成的文本不仅质量提高,长度也有所增加,而且增加的并非重复内容。

为了确认文本质量的提高是加入噪声的作用而不是由文本长度的增加所导致,研究人员又进行了消融实验。

结果显示,只是强制模型生成更长的文本无法达到NEFT的效果。

论文地址:https://arxiv.org/abs/2310.05914

来源:量子位内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯