通过可调变换将学得图像编解码器适应屏幕内容
内容提要
本文综述神经图像压缩进展，涵盖并行Transformer-CNN混合块、可扩展编解码器、内容自适应剪枝与迭代优化、扩散模型解码、可逆神经网络、感知导向编码及Transformer自回归先验等方法，在率失真、感知质量和机器视觉任务上取得领先表现。
延伸解读
神经图像压缩的技术演进
文章梳理了从2019年到2024年神经图像压缩的关键进展，包括并行Transformer-CNN混合块、可扩展编解码器、内容自适应剪枝与迭代优化、扩散模型解码、可逆神经网络、感知导向编码及Transformer自回归先验等方法。这些技术分别针对率失真性能、机器视觉任务、感知质量和计算复杂度等不同目标进行优化，反映了该领域从单一指标向多维度发展的趋势。
面向机器视觉的压缩优化
多篇研究关注机器视觉任务中的图像压缩，旨在降低比特率的同时最小化分析准确性下降。例如，可扩展编解码器通过潜在空间设计支持从简单到复杂的任务；基于对抗训练的微调方案在保持机器分析准确性的同时提升视觉质量，且不增加推理比特率或参数。这些工作表明，压缩技术正从人眼感知向机器消费场景扩展。
感知质量与率失真的平衡
文章提到扩散模型解码和感知导向编码等方法，在极低比特率下重建逼真图像或提升感知品质。扩散模型结合全局文本描述，降低了对高比特率的依赖；PO-ELIC通过对抗训练在更低比特率下达到与HiFiC相当的感知品质。这些进展说明，感知质量已成为与率失真性能并重的优化目标。
架构创新与效率提升
并行Transformer-CNN混合块结合了CNN的局部建模和Transformer的非局部建模能力，提升了整体架构效率。基于可逆神经网络的Invertible Encoding Network在高分辨率图像上优于现有方法和VVC标准。TIC方法使用Transformer且参数更少，达到与CNN方法同等性能。这些架构创新在提升压缩效率的同时，也关注计算复杂度和参数数量的权衡。
Q&A
有哪些方法可以提升神经图像压缩的率失真性能？
文章提到多种方法：并行Transformer-CNN混合块结合局部与非局部建模；可扩展学习图像编解码器设计支持从简单到复杂的任务；内容自适应通道剪枝和特征变换提高解码器自适应性；迭代优化使潜在表示适应特定内容；基于可逆神经网络的Invertible Encoding Network；改进的Transformer自回归先验模型及ConvNeXt-based预/后处理器；以及基于Transformer的图像压缩方法（TIC）。这些方法在率失真性能上取得了领先表现。
如何让神经图像压缩模型适应不同内容或分辨率？
可以通过内容自适应方法实现：对潜变量进行自适应通道剪枝，以及通过特征变换提高解码器端的内容自适应性。此外，迭代优化过程能使潜在表示适应特定内容，同时保持网络和预测模型参数固定，无需额外传输模型参数更新数据，从而改进预训练网络在不同视觉外观或分辨率内容上的表现。
扩散模型在图像压缩中有什么作用？
扩散模型可用于解码，结合全局文本图像描述提供额外上下文，在极低比特率下重建逼真图像，其视觉质量与以往方法相当，且对比特率的依赖性更低。
可逆神经网络如何用于图像压缩？
基于可逆神经网络（INNs）的Invertible Encoding Network方法用于构建更好的图像空间和潜在特征空间之间的转换，在Kodak、CLIC和Tecnick数据集上，该方法在高分辨率图像方面优于现有的学习图像压缩方法和压缩标准（包括VVC (VTM 12.1)）。
如何提高学习图像压缩的感知质量？
可以采用感知导向的高效学习图像编码模型（PO-ELIC），通过对抗性训练技术，包括铰链形式的对抗损失、Charbonnier式损失和样式损失，在更低比特率下提供与HiFiC相当的感知品质。此外，基于对抗训练的解码器微调方案能显著提高视觉质量，同时保持机器分析准确性，无需增加额外比特率或参数。
Transformer在图像压缩中有哪些应用？
Transformer可用于图像压缩：并行Transformer-CNN混合块结合CNN的局部建模和Transformer的非局部建模能力；改进的Transformer自回归先验模型及ConvNeXt-based预/后处理器提高压缩效率和解码复杂度的权衡；基于Transformer的图像压缩方法（TIC）使用深度神经网络分析和压缩输入图像，与最先进的基于CNN和人工编码规则压缩算法相比，参数更少且性能相当。
