凭借在音视频AI技术的积累及与黑灰产对抗的丰富经验，网易易盾AI实验室-音视频团队在「说话人相关的音频深度伪造检测」和「深度伪造视频生成方法识别」双赛道中荣获最高级A级证书，并在「深度伪造视频检测」赛道中获得B级证书。
经过近5年的发展，网易易盾一直利用人工智能（AI）技术不断深耕，在内容安全领域的多样场景下适应落地，以信息技术赋能互联网时代的数字风险治理。
一、角逐数月，交出最新成绩单
由国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局、厦门市人民政府联合主办的第三届中国人工智能大赛近日正式收官。
本届大赛历时近3个月，集结了来自全国的164支队伍，重点聚焦算法治理、深度伪造音视频检测、网络安全等方向，以竞赛方式解决现实场景中需求问题，发掘一批人工智能领域的技术领先团队，推动人工智能与传统行业深度融合与跨界应用。
2021年是网易易盾参加竞赛的第三年。在工程师的创新性探索下，网易易盾分别在前两个年度一举拿下“旗帜识别”与“视频深度伪造检测”赛道最高级A级证书。
以深度伪造为代表的网络安全问题屡禁不止，也给社会公共治理带来严峻挑战。与往年相比，本届竞赛的一个关键点在于AI技术的落地性与成熟应用，让深度伪造的技术检测成为监管治理的利器。
二、两大方向上的创新工作
1音频方向：声纹鉴伪技术
为了兼顾高性能与低功耗，易盾AI实验室团队设计了“声纹识别”与“分类模型结果”相融合的解决方案，发挥两者优势识别千变万化的伪造音频。在验证集上，团队通过深度学习的方式，学习了融合两个模型输出的最佳方案，以此作为最终的鉴伪系统，获取更准确的检测结果。
01 跨语种干扰消除
数据一直是通用智能发展的阻碍。在多语种的场景下应用，常规的解决方案是加多种语种的数据进行训练，面临不同语种的标注数据收集的难题：一是，部分小语种获取标注数据成本大，二是，出现各个语种样本数量不平衡的问题，三是，难以完全覆盖测试数据的语种范围。为了突破多语种数据受限的瓶颈，易盾团队引入了创新的“对抗训练”方式。简单而言，就是让学习到的声纹特征不具备语种信息，同时在高维空间中有一个类内紧凑，类间距离大的一个表达。通过技术升级，在比赛的验证集中，等错误率(EER)成功降低2%左右。在业务场景中，可以支持跨语种的声纹识别，在提供覆盖面更广的服务的同时，提高模型在小语种与语种混杂场景下鲁棒性。
02 标签噪声纠正
在训练声纹模型时，一旦标注数据出现误标注，即标签噪声，就会影响最终训练得到的模型的精度。传统的解决方案依靠于人工挑拣，去除错标数据，而人工成本大，时间周期长，并不是良策。对此，易盾团队做了重大突破。团队引入subcenter-arcface损失函数，它通过为每个类划分多个子中心，只要求训练数据离任意一个子中心小于一定距离即可。高效抑制标签噪声的方法，不要求模型强行去拟合那些噪声标签，同时又能学习到好的声纹特征，极大地提高了对错误标签的判别力度，助力错误率(EER)有效降低1%左右。
03 模型结构的探索
易盾团队对声纹识别的模型结构做了重大升级。在light-cnn的基础上，加入各种attention的结构，并采取了多频段分别建模再特征聚合的方式。引入attention的目的在于让模型更好地关注对分类有帮助的频率和时间模式上，而多频段分别建模再特征聚合的引入，让分类更细致。与直接用CNN做分类的传统方式相比，在比赛验证集上等错误率降低3%左右。
2视频方向：视频伪造检测
视频深度伪造检测技术，面临着伪造方法多样、持续对抗、数据分布广泛、后处理方式多样等难点。针对这些问题，易盾AI实验室团队从数据、特征、训练方式、持续迭代等多角度出发，设计了“基于域泛化多特征融合”的解决方案，持续的提升鉴伪模型对于未知伪造方法、多样的后处理方式、持续对抗的鲁棒性。
01 基于半监督学习的数据挖掘方法
针对上述伪造方法多、后处理方式多、数据分布广泛的问题。从数据层面，团队基于半监督学习技术，设计了完整的数据挖掘、带噪学习、持续迭代的解决方案。从提高难例占比和提升精确度的角度出发，保证数据挖掘的有效性和准确性，让数据分布更多的覆盖未知域，从而更好的提升模型的泛化能力。从带噪学习的角度出发，提升模型对噪声标签的“容忍度”，从而更加高效的提升模型的泛化能力。
02 基于多特征融合的鉴伪识别方法
深度鉴伪的识别方法往往有比较强的“针对性”，一种特征或者识别方法往往对一种或者一系列生成方法有比较好的鲁棒性，但是面对一个完全的开集问题，面对一个数据和生成方式都未知的伪造方式，单一的特征和方法往往很难取得很好的泛化性和识别效果。所以，我们在纵向对每个识别方法和特征进行深入研究和改进的同时，横向的融合和选择多种的特征，包括embedding特征、频域特征、序列特征、人工定义特征、伪造痕迹特征等等。
03 基于域泛化的模型训练方法
从鉴伪的角度来看，识别的数据有明确的“域”的概念。一种伪造方式与一种后处理方式的结合，就等于一个特定的识别“域”。换句话说，模型的训练和测试数据很难满足独立同分布的前提假设，并且可能有非常大的域偏移。因为伪造的方式和后处理的方式多样，并且持续发展和对抗，所以想从生成的角度穷尽所有的“域”来提升鉴伪模型的泛化能力基本是不可行的。基于以上分析，我们从域泛化和域自适应的角度出发进行模型训练，提升模型对未知域的泛化能力、提升模型对未知分布的鲁棒性。
三、持续发力深伪防范，守护清朗网络
“换脸变声”的深度伪造应用不少，几乎具备以假乱真的迷惑性，通过AI技术对图像、声音、视频的篡改、伪造和自动生成，形成高度逼真的效果。
易盾AI实验室的“视频伪造检测”与“声纹识别”能力，不仅在比赛中取得最低错误率，并且已经尝试应用在点播、直播视频等场景下的内容安全检测能力中。我们助力线上图像、语音、视频等内容的检测，阻断作恶者的内容传播链，全力以赴阻止科技作恶，如判断内容是否涉及敏感人员及其恶搞、是否存在深度伪造的嫌疑。
01 保护敏感人物
明星与政治人物往往成为深伪的重灾区，因其具备充分的图像、声音等公开数据用于假音频和假视频的仿制。在真实场景下，易盾针对敏感人员声音的特点、应对不同清晰度、不同肤色的人像案例，对解决方案做了多轮的迭代优化，被多家客户应用于“深度伪造”专项清理，并且申请多项专利。
02 阻止深伪作恶
“深度伪造”的风险事件屡见不鲜，引发淫秽色情、诈骗、恶搞与侵权等问题。易盾积极跟进最前沿的伪造技术，探索泛化能力更强的音视频“深度伪造”对抗技术，精准鉴别音视频深度伪造，已经可应用于多行业、多场景、多问题范畴的守护。
四、开发者共思同行，不断给出新答案
回顾过去，网易易盾连续3年在中国人工智能大赛夺冠，技术持续进步的背后，浸透着工程师们的辛勤汗水，离不开默契的配合。在电脑之间穿梭的他们，是人工智能的训练师，也是互联网数字内容的把关人。每天的大部分时间，AI实验室的工程师们都待在一起共思同行，也隐藏着许多有趣的故事。
五、每天一个新点子的产生与执行攻略
技术探索是波浪式的前进，既需要站在巨人的肩膀上思考，也需要结合当下实际的创新。团队长期致力于智能声学研究，能更轻松应对各项比赛任务，得益于平日常在业务需求中得到的锻炼。
在比赛截止的最后一周时间里，音频组的两位技术搭档正处于机器模型搭建、数据训练、效果优化的冲刺中。所有工作都在井然有序的节奏中完成了。
某天晚上，一位工程师结束了一天繁忙的工作，离开了自己的工位。在回家路上，他看到路上有人倒着走路健身，突然脑子里灵光一闪，冒出一个算法优化的想法。
倒着行走的人是不是等于问题可以反过来看。他在挨过兴奋且充满讨论欲望的夜晚之后，第二天一早醒来就给拍档发了消息。几人一番商讨，重新分析了赛题，新视角下的声学模型对伪造的反应更敏锐。
“这个想法快速成为现实，反而一跃成为三个参赛模型中取得最好结果的一个，错误率最低，也帮助我们夺冠。”他说，对团队而言，比赛是一个发现问题、优化问题的过程，基于每天测试过程中发现的问题，寻找解决方法，择最优方案而为。
未来，网易易盾的AI工程师们将始终坚持技术创新战略，改进关键核心技术，不断进行一个又一个课题的探索，为企业客户带来业界领先的技术，支持真实场景下的新功能。
