SG-JND:用于图像压缩的语义引导最小可察觉失真预测器

💡 原文中文,约1400字,阅读约需4分钟。
📝

内容提要

本文介绍了一种基于众包的视觉知觉试验框架,创建了新的PJND数据集KonJND++,包含300个源图像及其压缩版本。利用深度学习建立了综合多种畸变类型的JND模型,并提出了基于图像质量评估的细粒度JND预过滤网络,以提高视觉无损压缩效率和感知质量。

🔎

延伸解读

众包构建JND数据集的方法与价值

文章采用众包进行视觉知觉试验,构建了KonJND++数据集,包含300个源图像及其JPEG或BPG压缩版本,每个源图像平均有43个PJND评级和129个JND致命区域的自报告位置。这种众包方式能高效收集大规模主观数据,为JND建模提供丰富标注,但需注意众包环境可能引入的噪声,文章通过精细选择流程加以控制。

多畸变类型JND建模与IQA预过滤

文章利用深度学习建立综合考虑多种畸变类型的JND模型,并构建了包含25种畸变类型的细到粗数据集。为此设计了基于图像质量评估(IQA)的JND候选选择方案,结合众包主观评估进行精细数据选择。这表明JND建模正从单一畸变向多畸变扩展,而IQA引导的预过滤能提升数据效率,但模型泛化到未知畸变类型仍需验证。

JND融入学习图像压缩的感知优化

文章将JND原则融入学习图像压缩(LC)的训练过程,提出三种感知优化方法。评估结果显示,相比基线方法,这些方法在训练后不增加额外复杂性,同时提升了速率-失真表现和视觉质量。这证实了JND整合的有效性,为视觉无损压缩提供了新思路,但实际部署中的计算开销和兼容性仍需进一步考察。

❓

Q&A

什么是KonJND++数据集?

KonJND++数据集是一个包含300个源图像及其压缩版本的数据集,平均每个源图像有43个PJND评级和129个JND致命区域的自报告位置。

如何提高视觉无损压缩的效率和感知质量?

通过提出基于图像质量评估的细粒度JND预过滤网络,可以提高视觉无损压缩的效率和感知质量。

JND模型是如何建立的?

JND模型是利用深度学习建立的,综合考虑了多种畸变类型,并构建了拥有25种畸变类型的数据集。

JND原则在图像压缩中的作用是什么?

JND原则通过融入学习图像压缩的训练过程中,增强了速率-失真表现和视觉质量。

本文提出了哪些感知优化方法?

本文提出了三种感知优化方法,旨在证明JND整合的有效性,且不增加额外复杂性。

如何进行JND数据的选择?

JND数据的选择通过设计基于图像质量评估的候选选择方案,并使用众包主观评估进行精细选择。

🏷️

标签

➡️

继续阅读