三个月前,机器之心曾介绍过一个换脸项目 Avatarify。利用这项技术,你可以将自己的脸实时替换成别人的脸,在视频会议中的表现十分流畅。迄今为止这个项目已在 GitHub 上获得了 8.5k 的 star 量。
这个项目主要借助今年三月份发布的一篇 arXiv 论文《First Order Motion》,无需事先对目标图像进行任何训练,就能用另一个人的视频来替换自己的图像。
在使用 Avatarify 时,借助 deepfake 等其他换脸技术,在想要交换的脸部图像上对算法进行训练。通过在目标图像的相似类别上训练算法,该模型支持实时换脸操作。
一阶运动模型整体框架
具体的操作过程也非常简单:
先导入一张静态图片,照片中的五官会随着视频中真人动作做出相应的变化,比如挑眉毛、眨眼睛、说话等动作,看起来就像是换了个人在开会。
更方便的是,开发者已经将它做成了 app,目前可在苹果商店下载。
Avatarify 已上架 APP Store。
这款应用的使用方法依然非常简单:在 app 中选择一张图片,即可开展一番表情操纵,最终生成的就是你想要的人脸视频了。
也不知道是什么家庭背景,能让特朗普总统亲自为你的朋友送上生日祝福:「Happy birthday, Joe!」
你可以选择做个人,也可以放弃做人:
还有换脸界最喜欢的蒙娜丽莎:
蒙娜丽莎:「你喜欢我的微笑吗?」(Do you like my smile?)
试用效果
本着负责任的态度,我们对产品进行了试用。下图为真实使用效果,没有加特技的成分,可以看出,眼神转换和微笑弧度都被成功捕捉到:
除了 APP 提供的图像以外,你也可以自定义目标头像,但需要注意将目标头像裁剪为正方形,并且距离不能太远也不能太近。最好选择单一的背景,以最大程度上避免还原失真。
很多用户在社交平台上展示了他们的试用成果。虽然在五官动作的捕捉上比较精确,但如果加上仰头等动作的话,生成结果仍然会出现变形:
下图中,马斯克下半部分的脸有点跑偏:
当然这也和使用者的动作有关,表情管理能力越强,越能够以假乱真。
三个月,从项目创建到产品落地
据 GitHub 项目介绍,这个项目自创建以来持续更新,具体时间表如下所示:
2020.04.13:添加 Windows 支持。
2020.04.15:添加 StyleGAN 生成的头像(ThisPersonDoesNotExist)。点击 Q 键,即可获得一张不存在的人的图像。每点击一次,即可轻松换头像。
2020.04.17:创建 Slack 社区。
2020.04.24:添加 Windows 安装教程。
2020.05.07:针对所有平台添加远程 GPU 支持。
2020.05.22:添加 Google Colab 模式,用户可以在没有 GPU 的计算机上运行 Avatarify。
2020.07.11:添加 Docker 支持,用户可以在 Linux 上使用 Docker 运行 Avatarify。
几天前,Avatarify APP 在苹果 APP Store 上线。
从项目创建到商业化软件落地,Avatarify 的作者只用了三个多月的时间。
也许无聊真的是第一生产力。
参考链接:
https://github.com/alievk/avatarify#configure-video-meeting-app