文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

魔芯科技携多单位,首次用“分割一切”(SAM)的AI大模型在下游任务适应调优!

2024-11-30 15:48

关注


近日,由魔芯科技、浙江大学、湖州师范学院、新加坡科技设计大学(SUTD)、北京航空航天大学等多单位联合发表国际学术论文,发现了SAM这一通用大模型在部分下游任务上的性能表现不佳,并首次提出了将任务特定知识和大模型SAM学到的通用知识和在下游任务中结合,进行适应调优(而非重新训练)的方法。研究提出了一个轻量的Adapter框架将这些任务相关的知识输入进SAM中,以实现SAM在下游任务的针对性应用。


这项研究成果开辟了利用大型预训练图像模型在不同领域和工业应用中进行各种下游分割任务研究的新时代。它为研究人员和从业者提供了有价值的见解,展示了如何利用内部知识和外部控制信号来适应预训练模型,以在具有挑战性的任务中实现最先进的性能。该研究成果还为医学图像处理、自然科学、农牧业、遥感等领域的应用提供了新思路。


图:魔芯科技携多单位发表关于“分割一切模型SAM”的国际学术论文


AI人工智能研究已经见证了一个由大规模海量数据上训练的模型所带来的范式上的转变。这些模型,或称为基础模型,如BERT、DALL-E和GPT-3,已经在许多语言或视觉任务中显示出有优秀的结果。


在这些基础模型中,Segment Anything Model(SAM)作为一个在大型视觉语料库上训练的通用图像分割模型取得了显著的突破。事实证明,SAM在不同的场景下具有成功的分割能力,这使得它在图像分割和计算机视觉的相关领域迈出了突破性的一步。


然而,由于计算机视觉包含了广泛的问题,SAM的不完整性是显而易见的,这与其他基础模型类似,因为训练数据不能包含整个语料库,工作场景也会有变化。在本研究中,作者首先在一些具有挑战性的低层次结构分割任务中测试SAM,包括伪装物体检测(隐蔽场景)和阴影检测,作者发现在一般图像上训练的SAM模型在这些情况下不能完美地 "分割任何东西",包括影子检测、伪装物体检测等。


因此,一个关键的研究问题是:如何高效利用大型模型从大规模语料库中获得的能力,并利用它们使下游的任务受益?

在这项工作中,来自魔芯科技、浙江大学、新加坡科技设计大学等单位的研究者提出了SAM-Adapter,它是一个针对上述研究问题的优秀解决方案。这项开创性的工作首次尝试将大型预训练的图像分割一切模型SAM适应于特定的下游任务,并提高其性能。正如其名,SAM-Adapter是一种非常简单而有效的适应技术,可以同时利用来自大模型的内部知识和针对下游任务设定的外部控制信号。在该方法中,信息是通过视觉提示传达给网络的,这已被证明了在用最少的额外可训练参数,能高效地将一个冻结的大基础模型适应到许多下游任务工作。


图:SAM-Adapter (Ours) 在伪装物体检测上的性能测试


这项工作率先证明了大规模海量数据训练给SAM带来的特殊能力可以被应用到其他数据领域。SAM-Adapter可以被用作这样的迁移。作者在影子检测、伪装物体检测等任务的数据上实现了超过已有算法的高性能(SOTA)表现。未来,我们相信SAM-Adapter作为一个通用框架,可以被应用于更多不同领域的各种下游分割任务中,包括在医学影像诊断、农业、工业检测等不同领域。




阅读原文内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯