学习式图像压缩与文本质量增强
内容提要
该文综述图像压缩研究，重点探讨利用文本语义与多模态模型提升压缩质量，方法包括场景文本质量评估、贝叶斯字典学习、文本引导深度压缩、生成模型及语义集成损失，在低比特率下改善感知与语义保真度，优于JPEG等传统方法。
延伸解读
文本语义如何提升压缩质量
文章指出，利用文本语义与多模态模型可以提升图像压缩质量。具体方法包括场景文本质量评估、贝叶斯字典学习、文本引导深度压缩、生成模型及语义集成损失。这些方法在低比特率下改善感知与语义保真度，优于JPEG等传统方法。
关键方法的技术脉络
从2016年的非线性变换压缩到2024年的语义集成损失，技术演进呈现从单纯优化率失真到引入语义和生成模型的趋势。文本引导、多模态融合和生成对抗网络被用于提升重建图像的感知质量，并在多个数据集和指标上验证了有效性。
实际应用与性能表现
文章探讨了将文本质量保持方法推广到互联网通信工程中的实际应用。实验表明，文本引导方法在极低比特率下能获得较好视觉效果，性能可媲美或超越最先进技术。例如，在CLIC2024验证集上，语义集成损失相比MS-ILLM在FID指标下节省了62%的比特率。
Q&A
学习式图像压缩中如何利用文本信息来提升压缩质量？
文章介绍了多种方法：通过场景文本图像质量评估模型迭代搜索保持高质量文本的最佳压缩图像；使用文本引导辅助信息的深度图像压缩方法，预测语义掩码并融合文本和图像特征；以及采用图像-文本注意力模块和改进的多模态语义一致性损失函数，用文本语义引导图像压缩。这些方法在低比特率下能改善感知和语义保真度。
基于预训练的文本到图像生成模型用于图像压缩有什么优势？
研究表明，将基于Billion-scale数据集预训练的文本到图片生成模型用于图像压缩，可以在极低比特率下实现比学习压缩器更好的感知和语义保真度。
贝叶斯字典学习在二进制文档图像压缩中有什么作用？
使用贝叶斯框架和字典学习设计代价函数，可以重建更高质量的二进制文档图像，并构建表示和编码该图像的字典。实验结果表明，该方法相对于原始噪音图像在视觉效果和压缩比上得到了显著提升。
语义集成损失如何提升神经图像压缩的统计保真度？
通过使用复杂的语义集成损失、潜在精细化过程和优化可视保真度的目标，显著提高了神经图像压缩的统计保真度。在CLIC2024验证集上，相较于MS-ILLM在FID指标下实现了62%的比特率节省。
非二元鉴别器在图像压缩中如何优化失真和统计保真度？
通过引入一种非二元鉴别器，该鉴别器通过VQ-VAE自编码器获得的量化局部图像表示进行调整。在CLIC2020、DIV2K和Kodak数据集上的评估表明，该鉴别器比最先进的HiFiC模型更有效地联合优化失真（如PSNR）和统计保真度（如FID）。在CLIC2020测试集上，获得与HiFiC相同的FID，但比特数减少了30-40%。
学习式图像压缩方法与传统JPEG相比有哪些性能优势？
文章中提到，一种由非线性分析变换、均匀量化器和非线性合成变换构成的图像压缩方法，使用卷积线性滤波器和非线性激活函数构建变换，并利用随机梯度下降优化，具有比标准JPEG和JPEG2000更好的速率失真性能，并且在所有位率下对所有图像的视觉质量均有显著提高。
