基于模型无关的少样本示例的生成图像起源归因
内容提要
本文提出了一种无需更改的图像源头归属方法，通过对图像生成模型进行输入反向工程，区分生成图像与真实图像。同时，研究探讨了CLIP在零样本学习中的应用，提出了基于多模态表示学习的ZOC方法，提升了未知分类检测性能。此外，结合大型语言模型和视觉语言模型，增强了对稀有背景的识别能力。
延伸解读
技术路径：从逆向工程到多模态融合
文章汇集了多项研究，核心思路是通过逆向工程生成模型的输入来追溯图像来源，并利用CLIP等视觉-语言模型提升检测性能。例如，通过反转文本提示并比较重构图像与测试图像的相似性，可以确定生成模型。此外，结合大型语言模型生成失效模式描述，能增强对稀有背景的识别。这些方法共同指向一个趋势：利用多模态表示学习提高生成图像检测的泛化性和鲁棒性。
性能表现：泛化能力与鲁棒性提升
基于CLIP特征的轻量级检测策略展现出出乎意料的泛化能力，仅需少量示例图像即可在Dalle-3、Midjourney v5等商业工具上保持高鲁棒性。在分布外数据上，AUC提高了6%，在受损或清洗数据上鲁棒性提升了13%。ZOC方法在5个基准数据集上优于基准方案，而结合ChatGPT和CLIP的框架在稀有背景上准确度提升约21%。这些数据表明，多模态方法在未知场景下具有显著优势。
应用与责任：溯源与检测并重
图像起源归因不仅关乎技术检测，还涉及模型滥用追责。通过反转图像文本提示并重新生成候选图片，可以确定图片来源模型，从而使模型所有者对滥用行为负责。同时，轻量级检测策略无需大量特定领域数据训练，降低了应用门槛。这些进展为AI生成内容的治理提供了实用工具，但需注意方法对模型架构的依赖性和潜在对抗攻击风险。
Q&A
如何区分生成图像与真实图像？
通过对图像生成模型进行输入反向工程，利用重构损失来有效地区分生成图像和真实图像。
CLIP在零样本学习中的应用是什么？
CLIP被用于解决输入文本的稳定性问题，并通过增加损失项来提高图像识别率和生成图像质量。
ZOC方法如何提升未知分类检测性能？
ZOC方法通过生成图像的文本描述和置信度评分来实现未知分类的检测，展现了比基准方案更好的性能。
如何增强对稀有背景的识别能力？
结合大型语言模型和视觉语言模型，通过生成合成数据来学习模型的不足，从而增强对稀有背景的识别能力。
少样本无监督图像转换算法的有效性如何验证？
通过在基准数据集上的大量实验，与多种基线方法比较，验证了该算法的有效性。
基于CLIP的检测策略有什么优势？
该策略在各种挑战场景下展现了高鲁棒性和泛化能力，且不需要大量特定领域的数据集进行训练。
