出品 | 51CTO技术栈(微信号:blog51cto)
2023年底,AI圈似乎已经被“文生视频”模型攻占了!
11月底 AI 文生视频工具 Pika 1.0 横空出世、风头一时无两,日前斯坦福大学 AI 科学家李飞飞团队联合谷歌推出AI 视频生成模型 W.A.L.T(Window Attention )继续炸圈,近日,腾讯团队带着新作品来炸场了!
1、吊打黑马AnimateDiff,实力碾压
AnimateZero 是腾讯AI团队发布的一款视频生成模型,它通过改进预训练的视频扩散模型(Video Diffusion Models),将视频生成当作一种零样本的图像动画问题,能够更精确地控制视频的外观和运动。
据介绍,该模型的效果秒杀 Animatediff,并且能够更好地兼容现有的SD生态。口说无凭,先来看看 AnimateZero 生成的视频效果如何?
AnimateZero 展示了在多个 T2I 模型上生成的个性化视频。
比如由动漫人物的图片生成的视频,人物动作流畅,还融入了眼睛变色、头发蓬蓬的小细节:
再看看自然景观的生成,沙滩上浪花的涌动、烟花的绚烂绽放、闪电袭来的氛围感,都有种身临其境的感觉。
AnimateZero 还演示了一种通过插入文本嵌入来控制视频的动态效果:由图像生成视频后,再增加如“快乐+微笑”、“愤怒而严肃”、“张开嘴”、“非常悲伤”等文本,视频人物就能呈现对应的情绪和动作。
除了在现有模型上生成个性化视频,AnimateZero 是如何“秒杀”AnimateDiff 的?
AnimateZero 方面表示, AnimateDiff (AD)的一种常见用途是协助 ControlNet (CN) 进行视频编辑,但它仍然存在域间隙问题。AnimateZero (AZ)在这方面具有明显的优势,即生成主观质量更高、与给定文本提示匹配度更高的视频。
AnimateZero 官方也给出了视频效果对比:根据原视频生成在熔岩中游泳的女孩,AnimateDiff 的视频画面比较模糊,熔岩的效果几乎看不出来,对比之下,AnimateZero 的视频无论是与文本的契合度还是画面的美感,明显优于AnimateDiff。
如果要将原视频中的黑色汽车变成红色呢?效果也显而易见:
再来看看要求将原视频变成在森林的草地上奔跑的小女孩,AnimateDiff生成的视频既没有呈现森林也没有看到草地,只是在背景墙和小女孩的头发上呈现一些绿色,这显然不符合要求;而AnimateZero的效果就好多了,和主题词完美契合。
2、AnimateZero 到底强在哪?
AnimateZero是一种基于视频扩散模型的零样本图像动画生成器。传统的视频扩散模型(VDM)存在以下几个问题:
- 黑匣子:生成过程不透明
- 低效且不可控:要获得满意的结果,需要大量的试错
- 域差距:受训练期间使用的视频数据集的域限制
AnimateZero 利用一种分步生成视频的方法,将外观和运动过程解耦,解决了传统文本到视频(T2V)扩散模型缺乏精确控制的问题。通过零样本修改,还能将T2V模型转换为I2V模型,使其成为零样本图像动画生成器。
- 解耦:视频生成过程解耦为外观(T2I)和运动过程(I2V)
- 高效可控:T2I 生成相比 T2V 更加可控、高效,在 I2V 生成视频之前可以获得满意的图像
- 缓解域差距问题:可以微调 T2I 模型的域以与实际域保持一致,这比调整整个视频模型更有效
传统视频扩散模型(a) 和 AnimateZero 视频生成模型 (b) 的对比
除了本身的创新之外,相比AnimateDiff,AnimateZero 有哪些优势呢?
- 更高的一致性:在文本描述与生成视频之间,以及T2I(文本到图像)域与生成视频之间,AnimateZero展示了更高的一致性。
- 多样化应用:相比于AnimateDiff,AnimateZero支持更广泛的个性化图像域,并且能够在不同风格(如真实风格、动漫风格)中表现更好。
- 更强的动画效果:在动画质量和风格一致性方面,AnimateZero优于AnimateDiff,尤其在处理复杂运动和不常见对象时表现出更好的性能。
再完美的模型也会有它的局限性,AnimateZero的性能受限于其基础模型AnimateDiff的运动先验。对于一些复杂运动(如体育运动)或不常见对象的动画,AnimateZero的表现可能不尽如人意。另外由于AnimateZero是基于AnimateDiff的改进,因此其性能和应用范围受到基础模型的限制。
3、AI视频生成模型大爆发
1年以前,ChatGPT 以迅雷不及掩耳之势席卷全球,为文本创作领域带来重大的变革;一年后,文生视频赛道已成爆发态势,国内外的玩家都纷纷“开卷”。
先看国外的科技巨头:
11 月 3 日,Runway 宣布其 AI 视频生成工具 Gen-2 更新,一周后,Runway 又发布运动画笔功能,强化视频局部编辑能力;
11 月 16 日,科技巨头 Meta 推出了文生视频模型 Emu Video,首先生成以文本为条件的图像,然后生成以文本和生成的图像为条件的视频。
Stability AI 当然也毫不示弱。11 月 29 日,Stability AI 推出了名为 Stable Video Diffusion 的视频生成模型,提供 SVD 和 SVD-XT 两个模型。
更有最近火爆出圈的 AI 创企 Pika Labs 推出网页版 Pika 1.0,直接甩出体验链接引爆市场。
国内方面,11月12日,中国科学院等机构的研究者11 月 21 日提出了一个无需训练的文本生成视频框架 GPT4Motion;11 月 18 日,字节跳动推出了文生视频模型 PixelDance,提出了基于文本指导 + 首尾帧图片指导的视频生成方法,使得视频生成的动态性更强;12月1日,阿里的研究团队提出新框架 Animate Anyone,支持从静态图像 AI 生成动态视频;12月5日,美图公司发布的 AI 视觉大模型 MiracleVision 的 4.0 版本,主打设计和视频能力。
4、纷纷加码,“开卷”背后有何玄机?
那么,AI视频生成的技术和产品加速爆发,背后说明了什么?
从技术层面来看,文生图和文生视频的人工智能模型有较高相似性,文生图的技术和经验可供文生视频加以运用和参考是一个重要原因。
从市场情绪来看,近日95后女生以4人团队打造Pika Labs,快速出圈刷屏,成立半年就获得5500万美元融资,估值2亿美元。紧接着,也在A股上演了“父凭女贵”的戏码,其父亲所在的上市公司在这款工具爆火后连续收获3个涨停。可见文生视频领域的吸金能力空前巨大。
此外,国内头部企业的技术积累已经具备条件。湖南大学信息科学与工程学院博士生导师、教授张大方分析称,文生视频的人工智能模型参数为10亿级别至100亿级别,国内头部企业已能熟练掌握上述技术。在加快改进模型、清洗学习数据、调整操作界面、优化内部参数的共同推动下,文生视频技术已逐步克服诸多不足,并快速进入商业化应用。
同时,从应用角度方面来看,AI生成视频的前景毋庸置疑,影视、游戏以及广告等领域都是其落地的重要场景。艾媒咨询CEO兼首席分析师张毅表示:“个性化的视频制作更麻烦、成本更高,甚至超出了雇用程序员编程。不少行业都渴望有一款简单的视频生成工具。”
根据月狐iAPP统计的数据,从2022年Q2到今年6月,在移动互联网的所有类别的APP中,短视频的使用时长占比均高达30%以上,为所有类别中最高。这样的需求,也一定程度表明在视频制作领域蕴含着一个巨大增量的“蓄水池”。
客观来看,虽然各大厂商企业竞相加码,但相关应用的优化迭代速度和商业化进程都较慢,大公司与初创团队势均力敌,文生视频应用的潜力还没有彻底被开发。如何找到视频生成时长、效果、成本之间的平衡点,这依旧需要在各自不断的实践中寻求最优解。
参考链接:
https://vvictoryuki.github.io/animatezero.github.io/
https://www.chinaz.com/2023/1212/1582268.shtml
https://baijiahao.baidu.com/s?id=1785065486791669561&wfr=spider&for=pc