PROMPT-IML：通过 Prompt 调整预训练的基础模型实现图像操作定位
内容提要
该文综述2023年图像篡改定位与检测研究进展，涵盖IML-ViT高分辨多尺度模型、PMAE感知MAE方法、EITLNet双分支Transformer网络，以及基于视觉-语言模型和像素不一致性痕迹的检测方法；同时构建新基准数据集与标准化训练集，提出深度学习预处理技术并开源检测工具包。
延伸解读
技术路线分化：从高分辨率到视觉语言
文章梳理了2023年图像篡改定位的多种技术路线：IML-ViT强调高分辨与多尺度特征，PMAE通过感知损失增强MAE对低级特征的补充，EITLNet结合RGB与噪声双流，还有方法将深度伪造检测转化为视觉问答。这些路线分别从特征工程、自监督预训练和多模态融合切入，反映出该领域尚未形成统一架构，不同方法在泛化性与鲁棒性上各有侧重。
基准数据集与标准化训练集的价值
文中提到构建了高质量注释的新基准数据集，并推出标准化训练集TrainFors1，用于图像拼接、复制移动、去除和增强伪造等任务。作者还指出现有IMDL数据集存在问题并加以修正。这意味着此前不同方法因训练数据不一致而难以公平比较，标准化训练集有助于在类似条件下评估实际性能，对后续研究复现和横向对比具有基础性意义。
预处理与开源工具包的实用意义
研究提出一种基于深度学习的预处理技术，通过强调篡改区域中的异常来提升不同检测算法的性能，并降低非篡改区域的误检率。同时，作者开源了篡改检测工具包。这两项工作降低了方法应用门槛：预处理可作为通用前端增强现有检测器，工具包则便于研究者快速实验和集成，推动从单一模型创新向可复用基础设施延伸。
Q&A
IML-ViT 模型有什么特点，它在图像篡改定位任务上表现如何？
IML-ViT 是一种新的图像篡改定位模型，具有高分辨能力、多尺度特征提取能力和篡改边缘监督。在五个基准数据集上的广泛实验证明，其性能优于现有篡改定位方法。
PMAE 方法是如何提升图像篡改定位性能的？
PMAE（感知 MAE）通过结合高分辨率输入和感知损失监督模块来增强掩模自动编码器（MAE），从而补充低级特征。该方法在所有五个公开数据集上优于现有最先进的篡改定位方法。
EITLNet 网络结构是怎样的，它有什么优势？
EITLNet 是一种基于增强型双分支变压器编码器和注意力特征融合的图像篡改定位网络。它通过特征增强模块增强变压器编码器的特征表示能力，并通过坐标注意力融合模块在多个尺度上有效融合 RGB 和噪声流提取的特征。实验表明，该方案在各种基准数据集上达到了最先进的泛化能力和鲁棒性。
如何利用视觉-语言模型进行深度伪造检测？
通过利用视觉-语言模型和提示调整技术，将深度伪造检测问题转化为视觉问题回答。实验表明，通过预训练的视觉-语言模型和提示调整可以显著提高深度伪造检测的准确性。
基于像素不一致性痕迹的图像篡改定位方法原理是什么？
该方法通过分析像素不一致性痕迹来模型化图像的全局像素依赖和本地篡改线索，并通过学习权重模块增强最终的篡改定位性能。其基础是图像信号处理器插值过程中引入的像素相关性以及篡改操作对像素的影响，并通过新颖的数据增强策略驱使模型专注于捕捉固有的像素级痕迹。实验结果表明，该方法在图像篡改定位领域具有最先进的泛化和稳健性能。
文章提出了哪些新的基准数据集或训练集？
文章提出了一个新的具有高质量注释的两个子集的具有挑战性的图像操纵检测基准数据集，以及一个标准化的基准训练数据集 TrainFors1，用于图像拼接、复制移动伪造、去除伪造和图像增强伪造的 IMDL 任务，并对现有 IMDL 数据集的问题进行了修改。
