编辑：好困
【新智元导读】为了应对多模态假新闻，本文提出检测并定位多模态媒体篡改使命（DGM）。与现有的单模态 DeepFake 检测使命比较，DGM 不仅判别输入图画 – 文本对的真假，也尝试定位篡改内容（例如图画篡改区域和文本篡改单词）。
因为如 Stable Diffusion 等视觉生成模型的快速开展，高保真度的人脸图片能够自动化地假造，制造越来越严峻的 DeepFake 问题。
随着如 ChatGPT 等大型言语模型的出现，大量假本文也能够容易地生成并恶意地传播虚伪信息。
为此，一系列单模态检测模型被设计出来，去应对以上 AIGC 技能在图片和文本模态的假造。但是这些办法无法较好应对新型假造场景下的多模态假新闻篡改。
具体而言，在多模态媒体篡改中，各类新闻报道的图片中重要人物的人脸（如图 1 中法国总统人脸）被替换，文字中关键短语或者单词被篡改（如图 1 中正面短语「is welcome to」被篡改为负面短语「is forced to resign」）。
这将改动或掩盖新闻关键人物的身份，以及修改或误导新闻文字的意义，制造出互联网上大规模传播的多模态假新闻。
图 1. 本文提出检测并定位多模态媒体篡改使命（DGM4）。与现有的单模态 DeepFake 检测使命不同，DGM4 不仅对输入图画 – 文本对预测真假二分类，也企图检测更细粒度的篡改类型和定位图画篡改区域和文本篡改单词。除了真假二分类之外，此使命对篡改检测提供了更全面的解说和更深化的理解。
表 1: 所提出的 DGM4 与现有的图画和文本假造检测相关使命的比较
检测并定位多模态媒体篡改使命
为了解此新挑战，来自哈工大（深圳）和南洋理工的研讨人员提出了检测并定位多模态媒体篡改使命（DGM4）、构建并开源了 DGM4 数据集，一起提出了多模态层次化篡改推理模型。目前，该作业已被 CVPR 2023 录入。
论文地址：arxiv.org/abs/2304.02…
GitHub：github.com/rshaojimmy/…
项目主页：rshaojimmy.github.io/Projects/Mu…
如图 1 和表 1 所示，**检测并定位多模态媒体篡改使命（Detecting and Grounding Multi-Modal Media Manipulation （DGM4））**和现有的单模态篡改检测的差异在于：
1）不同于现有的 DeepFake 图画检测与假造文本检测办法只能检测单模态假造信息，DGM4 要求一起检测在图画 – 文本对中的多模态篡改；
2）不同于现有 DeepFake 检测专注于二分类，DGM4 进一步考虑了定位图画篡改区域和文本篡改单词。这要求检测模型对于图画 – 文本模态间的篡改进行更全面和深化的推理。
检测并定位多模态媒体篡改数据集
为了支撑对 DGM4 研讨，如图 2 所示，本作业贡献了全球首个检测并定位多模态媒体篡改（DGM4）数据集。
图 2. DGM4 数据集
DGM4 数据集查询了 4 种篡改类型，人脸替换篡改（FS）、人脸特色篡改（FA）、文本替换篡改（TS）、文本特色篡改（TA）。
图 2 展示了 DGM4 整体计算信息，包含（a） 篡改类型的数量散布；（b） 大多数图画的篡改区域是小尺寸的，尤其是对于人脸特色篡改；（c） 文本特色篡改的篡改单词少于文本替换篡改；（d）文本情感分数的散布；（e）每种篡改类型的样本数。
此数据共生成 23 万张图画 – 文本对样本，包含了包含 77426 个原始图画 – 文本对和 152574 个篡改样本对。篡改样本对包含 66722 个人脸替换篡改，56411 个人脸特色篡改，43546 个文本替换篡改和 18588 个文本特色篡改。
多模态层次化篡改推理模型
本文认为多模态的篡改会造成模态间细微的语义不一致性。因此通过交融与推理模态间的语义特征，检测到篡改样本的跨模态语义不一致性，是本文应对 DGM4 的首要思路。
图 3. 提出的多模态层次化篡改推理模型 HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)
根据此想法，如图 3 所示，本文提出了多模态层次化篡改推理模型 HierArchical Multi-modal Manipulation rEasoning tRansformer (HAMMER)。
此模型建立在根据双塔结构的多模态语义交融与推理的模型架构上，并将多模态篡改的检测与定位细粒度层次化地通过浅层与深层篡改推理来完成。
具体而言，如图 3 所示，HAMMER 模型具有以下两个特色：
1）在浅层篡改推理中，通过**篡改感知的比照学习（Manipulation-Aware Contrastive Learning）来对齐图画编码器和文本编码器提取出的图画和文本单模态的语义特征。一起将单模态嵌入特征使用穿插注意力机制进行信息交互，并设计部分块注意力聚合机制（Local Patch Attentional Aggregation）**来定位图画篡改区域；
2）在深层篡改推理中，使用多模态聚合器中的模态感知穿插注意力机制进一步交融多模态语义特征。在此基础上，进行特别的**多模态序列符号（multi-modal sequence tagging）和多模态多标签分类（multi-modal multi-label classification）**来定位文本篡改单词并检测更细粒度的篡改类型。
试验成果
如下图，试验成果表明研讨团队提出的 HAMMER 与多模态和单模态检测办法比较，都能更准确地检测并定位多模态媒体篡改。
图 4. 多模态篡改检测和定位成果可视化
图 5. 关于篡改文本的模型篡改检测注意力可视化
图 4 提供了一些多模态篡改检测和定位的可视化成果，说明晰 HAMMER 能够准确地一起进行篡改检测与定位使命。图 5 提供了关于篡改单词的模型注意力可视化成果，进一步展示了 HAMMER 是通过重视与篡改文本语义不一致性的图画区域来进行多模态篡改检测和定位。
总结
- 本作业提出了一个新的研讨课题：检测并定位多模态媒体篡改使命，来应对多模态假新闻。
- 本作业贡献了首个大规模的检测并定位多模态媒体篡改数据集，并提供了具体丰富的篡改检测与定位的标示。团队相信它能够很好地协助未来多模态假新闻检测的研讨。
- 本作业提出了一个强大的多模态层次化篡改推理模型作为此新课题很好的开始计划。
本作业的代码和数据集链接都已分享在本项意图 GitHub 上，欢迎大家 Star 这个 GitHub Repo， 使用 DGM4 数据集和 HAMMER 来研讨 DGM4 问题。DeepFake 范畴不只有图画单模态检测，还有更宽广的多模态篡改检测问题亟待大家处理！
参考资料：
arxiv.org/abs/2304.02…
