文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

一举打败16个同类模型,视频超分比赛冠军算法入选CVPR 2022,来自商汤&南洋理工大学

2024-12-02 06:16

关注

如何让模糊的老片变高清?

AI的答案是超分辨率算法。

现在,在视频超分领域,有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩,登上了CVPR 2022。

它的名字叫做BasicVSR++,是对视频超分SOTA模型BasicVSR的进一步改进。

BasicVSR也曾拿下NTIRE冠军,入选CVPR 2021。

现在,这个BasicVSR+++在基本相同的参数量下,不仅性能大幅超过前辈,PSNR(峰值信噪比,图像质量评估指标)提高了0.82dB,还能应用到更多的视频复原任务中(例如压缩视频增强)。

加强版BasicVSR

BasicVSR采用双向传播(propagation)+特征对齐方式,能够提取整个输入视频中的有效信息进行超分。

但是,它这一基本设计也限制了信息聚合的功效,比如难以恢复精细的细节,尤其是在处理复杂的遮挡区域时。

因此,加强版的BasicVSR++在传播和对齐方面进行了重新改造,采用了二阶网格传播(second-order grid propagation) 和光流引导可变形对齐 (flow-guided deformable alignment)的设计来改善网络中的信息聚合能力,提升遮挡区域的鲁棒性和有效性。

其中,二阶网格可以让信息从不同的时空位置进行前向后后向传播,让特征的传播更有效。

光流引导可变形对齐则可以让帧进行更具鲁棒性的特征对齐。

采用这一对齐方式主要是单纯的形变对齐训练效果不稳定,尽管可变形卷积 (DCN) 网络中具备多样性的偏移量(offset)使形变对齐的性能优于光流对齐。

BasicVSR+++具体架构如下:

给定输入视频,首先采用残差模块对每一帧提取特征;然后这些特征在二阶网络传播中进行信息传播,其中对齐部分采用光流引导形变对齐;完成信息传播后,汇聚特征生成输出图像。

在16个同类算法中性能全部最佳

作者对比了16种不同视频超分算法的性能、参数量以及耗时,结果是BasicVSR++在所有数据集下的两种退化方式中均取得最佳性能(红色代表最佳分数,蓝色代表次佳分数)。

特别地,相比大容量滑动窗口算法EDSR,BasicVSR++获得了1.3dB的性能提升,同时参数量少65%;

相比之前的最新技术IconVSR,BasicVSR++在参数量更少的同时也带来了1dB的性能提升。

更轻量版的BasicVSR++ (S),相比前辈BasicVSR,也有0.82dB的提升,收益显著。

而在具体效果中,不管是在REDS4、Vimeo-90K-T还是Vid4数据集上,BasicVSR++都能对极细节的图像进行复原,且效果最好。

目前,BasicVSR++的代码已经开源,感兴趣的同学可以去试试。

作者介绍

一作陈焯杰 (Kelvin C.K. Chan) 来自南洋理工大学计算机科学与工程学院,博士三年级在读,本硕毕业于香港中文大学。

目前的研究方向为图像/视频恢复,一共发表过5篇顶会论文。

通讯作者为他的导师吕健勤(Chen Change Loy),南洋理工大学计算机学院副教授,商汤-南洋理工大学联合实验室S-Lab副主任。

他俩也是BasicVSR的原班作者。

BasicVSR++的剩余两位作者分别为:该校二年级博士生周尚辰和该校研究员Xu Xiangyu。

论文地址:https://arxiv.org/abs/2104.13371

代码:

https://github.com/ckkelvinchan/RealBasicVSR

来源:量子位内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯