基于文本和图像编码器的 AIGC 图像质量评估回归模型
内容提要
该文综述AIGC图像质量评估研究,涵盖:建立PKU-I2IQA数据库并提出NR-AIGCIQA与FR-AIGCIQA基准模型;提出StairReward评估文本图像对齐并构建AGIQA-3K;构建大规模数据库评估质量、真实性与对应性;采用对比回归与补丁采样提升性能;介绍视频生成基准AIGCBench;提出Q-Refine通用图像优化流程;提出GIQA定量评估GAN图像质量;研究T2I个性化生成与AI图像检索偏差;提出TIGEr标题评估指标。
延伸解读
评估维度从单一质量走向多维感知
文章梳理的多个数据库和基准显示,AIGC图像评估已不再只看画质清晰度。PKU-I2IQA关注人类感知,AGIQA-3K评估文本图像对齐,另有大规模数据库同时考察质量、真实性和对应性。这意味着实际评估中需区分技术质量与语义一致性,单一指标难以覆盖生成图像的全部问题。
参考信息决定评估模型的设计路线
NR-AIGCIQA和FR-AIGCIQA分别对应无参考与全参考两种思路,说明评估模型是否依赖原始图像会直接影响适用场景。无参考方案更灵活,但可能缺少对照信息;全参考方案在已有参考图时更可靠。读者在选择评估方法时,应先明确手头是否有可用的参考图像。
评估结果可反哺生成与优化流程
文章提到GIQA可用于GAN模型真实性和多样性评估,并支持训练中的在线hard negative mining;Q-Refine则利用质量指标和自适应流程优化生成图像。这表明质量评估不只是事后打分,还能嵌入训练和后期处理,帮助筛选样本或改进输出,但具体效果仍取决于指标与任务是否匹配。
检索与标题评估存在独立偏差问题
文章指出AI生成图像会引发不可见相关性偏差,使文本-图像检索模型倾向于将生成图像排在真实图像之前,并提出训练方法缓解。同时,TIGEr标题指标强调机器标题与人类标题的匹配程度。这提醒读者,评估生成内容时还需关注检索排序偏差和标题评价的一致性,不能只依赖生成质量本身。
Q&A
PKU-I2IQA数据库是做什么用的?它包含了哪些基准模型?
PKU-I2IQA是一个基于人类感知的图像到图像AIGC图像质量评估数据库。它引入了两个基准模型:基于无参考图像质量评估的NR-AIGCIQA和基于全参考图像质量评估的FR-AIGCIQA,并通过基准实验比较了这两个模型的性能。
StairReward模型和AGIQA-3K数据库解决了什么问题?
StairReward模型旨在解决基于文本生成图像的模型中存在的主观质量差异问题,用于评估主观文本图像对齐的一致性,并以此建立了AGIQA-3K数据库。
AIGCBench主要评估什么类型的生成任务?
AIGCBench是一个全面且可扩展的基准测试,旨在评估各种视频生成任务,主要集中在图像到视频(I2V)生成上。
Q-Refine是如何优化AI生成图像质量的?
Q-Refine通过引入图像质量评估指标和三个自适应流程,提供了一种通用的图像精细化处理方法,可以对不同质量的AI生成图像进行有效优化,从而扩大T2I生成模型的应用。
GIQA算法能用来做什么?它的评估结果与人工评估一致吗?
GIQA算法从学习和数据两个角度定量评估GAN模型生成的图像质量。实验证明GIQA算法结果与人工评估基本一致,可应用于GAN模型的真实性和多样性评估,并能在训练中支持在线hard negative mining。
TIGEr度量标准是评估什么的?它与其他度量标准相比有什么优势?
TIGEr是一种用于自动评估图像标题生成系统的新度量标准,它不仅基于标题对图像内容的表现,还基于机器生成的标题与人生成的标题匹配程度。实验测试表明,TIGEr与人类判断的一致性比其他度量标准更高。