多模态提示学习的盲目图像质量评估
内容提要
本文提出了多种图像和视频质量评估方法，包括基于文本的语义相关质量评价（SAQI）和无参考图像质量评估。通过结合语言指导和多模态框架，提升了评估的准确性和泛化能力，并在多个数据集上展示了优越性能。
延伸解读
多模态提示学习在图像质量评估中的核心思路
文章汇总的多项研究显示，多模态提示学习正成为盲图像质量评估的重要方向。其核心思路是利用文本提示或语言指导，将视觉与语言信息结合，从而提升模型对图像质量的语义理解能力。例如，SAQI通过文本语义相关质量评价，PromptIQA利用图像-得分对引导预测，IP-IQA则针对AI生成图像。这些方法共同表明，引入语言信息有助于弥补纯视觉模型在质量感知上的不足。
方法性能与泛化能力的提升
根据文章，这些多模态方法在多个数据集上展现出优越性能。BVQI及其改进版在视频质量评估中优于基于人类意见的方法，并具有卓越的泛化能力；PromptIQA在多样化IQA任务中表现更高性能和更好泛化；IP-IQA在AGIQA-1k和AGIQA-3k上达到最先进水平。此外，语言指导使CLIP在多个数据集上的性能提高了7.6%，BLIP-2提高了4.8%，说明多模态融合能有效增强模型能力。
当前局限与未来方向
文章也指出了一些局限。例如，在多模态大语言模型应用于IQA的研究中发现，仅GPT-4V能合理描述人类对图像质量的感知，但在细粒度质量变化（如颜色差异）和多图像视觉质量比较等任务上较为薄弱。Q-Boost通过中性提示和多提示集成增强了低级MLLMs的零样本性能，但整体上，如何让模型更精准地捕捉细粒度质量差异，仍是需要关注的方向。
Q&A
什么是SAQI方法？
SAQI是一种基于文本的语义相关质量评价方法，旨在提升图像质量评估的准确性。
BVQI和BVQI-Local有什么区别？
BVQI是统一盲视频质量指数，而BVQI-Local是其改进版，二者结合了现有低级指标以提升评估性能。
PromptIQA方法的主要特点是什么？
PromptIQA方法通过使用图像-得分对和数据增强策略，适应多样化的图像质量评估任务需求。
IP-IQA框架的目的是什么？
IP-IQA是一个多模态框架，旨在解决AI生成图像质量评估中的问题，并在多个数据集上达到最先进的水平。
Q-Boost方法如何增强图像质量评估能力？
Q-Boost方法通过引入中性提示和多提示集成，增强了低级多模态大语言模型在视觉问题上的能力。
无参考图像质量评估方法的创新点是什么？
新的无参考图像质量评估方法利用视觉-语言模型估计图像与文本提示之间的相关性，能够评估感知质量及其退化原因。
