量子位
·
AI打假AI，拿下SOTA丨厦大&腾讯优图
内容提要
厦门大学与腾讯优图合作提出AIGI-Holmes，结合大模型与视觉专家，提升AI生成图像的检测能力。该方法通过双视觉编码器和协同解码策略，解决了可解释性和泛化能力的问题，实验结果在各项基准测试中表现最佳。
关键要点
-
厦门大学与腾讯优图合作提出AIGI-Holmes，结合大模型与视觉专家，提升AI生成图像的检测能力。
-
AIGI-Holmes采用双视觉编码器架构，解决可解释性和泛化能力的问题。
-
Holmes Pipeline包含视觉专家预训练、SFT和DPO三阶段训练流程。
-
实验结果显示，AIGI-Holmes在所有基准测试中表现最佳。
-
现有AIGI检测技术面临可解释性不足和泛化能力有限的瓶颈。
-
团队构建Holmes-Set数据集，包含45K图像和20K标注，覆盖多种生成缺陷。
-
模型架构包括视觉专家预训练、监督微调(SFT)和直接偏好优化(DPO)阶段。
-
推理阶段采用协同解码策略，结合多模态大语言模型与视觉专家的预测结果。
-
在检测能力评估中，AIGI-Holmes在所有benchmark上取得最优效果。
-
解释能力评估显示该方法在客观和主观评分上均优于当前先进大模型。
-
鲁棒性评估表明AIGI-Holmes在现实场景中的检测精度更高。
-
尽管取得先进效果，AIGI-Holmes仍存在幻觉问题和缺乏定量评估指标的局限性。
延伸问答
AIGI-Holmes的主要创新点是什么？
AIGI-Holmes的主要创新点是结合了双视觉编码器架构和协同解码策略，提升了AI生成图像的检测能力。
AIGI-Holmes如何解决可解释性和泛化能力的问题？
AIGI-Holmes通过双视觉编码器架构和Holmes Pipeline的三阶段训练流程，增强了模型的可解释性和泛化能力。
Holmes-Set数据集的构建目的是什么？
Holmes-Set数据集的构建旨在解决训练数据稀缺问题，包含多种生成缺陷的图像和标注。
AIGI-Holmes在基准测试中的表现如何？
AIGI-Holmes在所有基准测试中表现最佳，显示出其卓越的检测能力。
AIGI-Holmes存在哪些局限性？
AIGI-Holmes存在幻觉问题和缺乏定量评估指标的局限性。
AIGI-Holmes的训练流程包括哪些阶段？
AIGI-Holmes的训练流程包括视觉专家预训练、监督微调(SFT)和直接偏好优化(DPO)三个阶段。
