加州大学河滨分校:新方法以高达99%的准确率检测Deepfake视频

加州大学河滨分校的计算机科学家可以检测deepfake视频中操纵的面部表情,其准确性高于当前最先进的方法。在面部身份(而不是表情)被交换的情况下,该方法也与当前方法一样有效,从而导致检测任何类型的面部操作的通用方法。这一成就使研究人员更接近于开发自动化工具,以检测包含宣传或错误信息的操纵视频。

视频编辑软件的发展使得将一个人的脸换成另一个人的脸并改变原始面部的表情变得容易。随着肆无忌惮的领导人和个人利用操纵的视频来影响政治或社会舆论,识别这些视频的能力被许多人认为对保护自由民主至关重要。存在可以合理准确地检测何时交换人脸的方法。但是,识别仅更改表情的人脸更加困难,迄今为止,还没有可靠的技术存在。

“使Deepfake研究领域更具挑战性的是Deepfakes的创建,检测和预防之间的竞争,这种竞争在未来将变得越来越激烈。随着生成模型的更多进步,Deepfakes将更容易合成,更难与真实区分开来,“论文合著者Amit Roy-Chowdhury说,他是Bourns工程学院的电气和计算机工程教授。

 

来自一篇科学论文的图,展示了一种检测视频中操纵面部表情的自动化方法

 

第一列和第二列分别显示原始 im - age 和纵的。第三列中的黑白图像是相应的双核GT面具。来自Face2Face(第1,2,3行)和神经纹理(第4,5,6行)数据集的操纵图像的预测蒙版(第4列)和生成的CAM(列5)。(Mazaheri & Roy-Chowdhury, 2022)

UC Riverside方法在深度神经网络中将任务分为两个部分。第一个分支识别面部表情,并将有关包含该表情的区域(如嘴、眼睛或前额)的信息输入到第二个分支(称为编码器-解码器)中。编码器-解码器架构负责操作检测和定位。

该框架称为表达式操作检测(EMD),可以检测和定位图像中已更改的特定区域。

“多任务学习可以利用面部表情识别系统学习的突出特征,使传统操纵检测系统的培训受益。这种方法在面部表情操纵检测方面取得了令人印象深刻的表现,“领导这项研究的博士生Ghazal Mazaheri说。

面部操作的基准数据集基于表情和身份交换。将源视频的表达式传输到目标视频上,而不更改目标视频中人员的身份。另一个在单个视频中交换两个身份。

对两个具有挑战性的面部操作数据集的实验表明,EMD不仅在检测面部表情操作以及身份交换方面具有更好的性能。EMD准确检测了99%的操纵视频。

这篇论文“面部表情操作的检测和定位”在2022年计算机视觉应用冬季会议上发表。

快速申请