图像质量评估模型的黑盒对抗攻击
内容提要
本文综述无参考图像质量评估（NR-IQA）的研究进展，涵盖基于查询的黑盒攻击、无监督质量表示、卷积网络与Transformer结合、幻觉引导回归、对比学习特征匹配、自监督失真流形建模及RankIQA排序学习等方法，揭示NR-IQA在黑盒攻击下的脆弱性，并推动其稳健性研究。
延伸解读
黑盒攻击揭示NR-IQA的脆弱性
文章指出，基于查询的黑盒攻击方法利用多个分数边界和人类视觉系统特性，能有效测试无参考图像质量评估（NR-IQA）模型的稳健性。实验证明该攻击优于其他先进方法，并揭示了NR-IQA在黑盒攻击下的脆弱性。这意味着实际部署的NR-IQA系统可能面临恶意攻击风险，攻击者无需了解模型内部细节即可操纵质量评分，因此稳健性研究至关重要。
无监督与自监督方法提升泛化能力
文章综述了多种无监督和自监督的NR-IQA方法。例如，无监督质量表示通过视觉语言模型提取高层质量信息，结合扭曲捕捉特征训练回归器，在数据有效和零样本场景下表现优越。ARNIQA通过建模失真流形学习内在质量表示，在数据效率、泛化能力和鲁棒性上均有改善。这些方法减少了对大量人工标注的依赖，为实际应用提供了更灵活的解决方案。
排序学习与对比学习提升评估效率
RankIQA采用合成失真图像训练Siamese网络进行排序学习，自动生成无需人工标注，并通过微调将知识转移至传统CNN，一次前向传递即可高效评估，在TID2013上提升超过5%，在LIVE上也优于现有NR-IQA技术。QFM-IQM则利用对比学习匹配质量感知特征，通过比较相似语义但质量不同的图像对，移除有害特征并蒸馏提高泛化能力，在8个标准数据集上表现优越。这些方法在效率和准确性上提供了新思路。
Q&A
什么是基于查询的黑盒攻击方法？它如何用于评估无参考图像质量评估模型的稳健性？
基于查询的黑盒攻击方法通过使用多个分数边界和人类视觉系统的特性，有效地测试无参考图像质量评估方法的稳健性。实验证明，该攻击方法优于其他先进方法，并揭示了NR-IQA在黑盒攻击下的脆弱性。
无参考图像质量评估中，无监督学习的质量表示有什么优势？
无监督学习的质量表示具有广泛的扭曲捕捉能力，并通过视觉语言模型提取高层次的图像质量信息，将这两组特征结合训练简单回归器有效预测质量，并展示了这些特征在数据有效和零样本情况下的优越性能。
如何利用卷积神经网络和Transformer结合进行无参考图像质量评估？
通过卷积神经网络和Transformers中的自我关注机制，从输入图像中提取局部和非局部特征来解决NR-IQA任务，同时提供自我一致性作为一个自我监督信号来提高模型的鲁棒性。在七个标准IQA数据集上测试，达到了最先进成果。
幻觉引导的质量回归网络是如何工作的？
幻觉引导的质量回归网络将幻觉引导的参考图像和失真图像的信息发送至回归器进行学习，从而实现有效的质量预测。实验证明该方法明显优于现有的最先进方法。
对比学习在图像质量评估中有什么应用？
使用对比学习方法的质量感知特征匹配图像质量评估度量（QFM-IQM），通过对具有相似语义特征但质量得分不同的图像对进行比较，以自适应地调整上游任务的特征，移除有害特征并通过蒸馏方法提高模型的泛化能力，在8个标准NR-IQA数据集上实现了优越的性能。
RankIQA方法是如何工作的？它有什么优势？
RankIQA采用合成的失真图像来训练Siamese网络，以排名的方式对图像质量进行评估，从而实现自动生成无需人工标注。通过微调，将训练有素的Siamese网络的知识转移至传统的CNN，通过一次正向传递可以显著提高效率，并在TID2013基准测试中将结果提高了超过5%。此外，在LIVE基准测试中，该方法也优于现有的NR-IQA技术，并在全参考IQA方法中甚至超过现有技术，无需使用高质量的参考图像进行推断。
