多目标优化和量化重构偏移的可变速率学习图像压缩
内容提要
该文综述基于深度学习的可变速率图像压缩，涵盖条件自编码器、选择性压缩、变量量化控制器、软硬编码、Transformer及层次VQ-VAE等方法，通过调整量化步长或重要性映射实现多码率，率失真性能与视觉质量优于JPEG和JPEG2000。
延伸解读
可变速率压缩的技术路线
文章梳理了实现可变速率图像压缩的多种技术路线，包括条件自编码器、选择性压缩、变量量化控制器、软硬编码、Transformer及层次VQ-VAE等。这些方法的核心差异在于速率控制机制：有的通过调整量化步长，有的通过重要性映射或动态比特分配，还有的引入提示符令牌。读者可借此了解不同技术路径的适用场景与设计思路。
率失真性能与视觉质量优势
多项研究显示，基于深度学习的可变速率压缩在率失真性能和视觉质量上优于传统JPEG和JPEG2000。例如，2016年的方法在所有位率下对图像的视觉质量均有显著提高；2022年的选择性压缩方法能达到与单独训练模型相当的效率，并减少解码时间。这些结果说明深度学习方案在压缩效率与感知质量上具有潜力。
训练效率与解码速度的权衡
文章提到，仅学习一个变换并在测试时改变量化步长，可以节省大量训练时间，同时获得可比较的性能。此外，选择性压缩方法能减少解码时间。这表明可变速率设计不仅关注压缩率，也兼顾了实际部署中的计算开销。读者在评估不同方法时，可关注其训练成本与推理效率的平衡。
Q&A
可变速率学习图像压缩主要有哪些实现方法？
主要方法包括：基于条件自编码器，通过拉格朗日乘子和量化bin大小控制速率；选择性压缩，生成3D重要性映射调整基本表示元素；变量量化控制器，动态分配显著与微不足道通道的比特率；软硬编码，先学习隐变量空间再硬编码并引入加性噪声控制量化粒度；基于Transformer，引入提示符令牌适应可变质量目标；层次VQ-VAE，近似压缩同时保持感知质量。
基于条件自编码器的可变速率图像压缩如何控制码率？
该框架在一个网络中实现可变速率压缩，提供两个速率控制参数：拉格朗日乘子和量化bin大小。通过调整这两个参数，可以在不同码率下获得更好的率失真权衡。
选择性压缩方法如何实现可变速率图像压缩？
选择性压缩方法通过生成3D重要性映射，并调整该映射来确定不同目标质量水平下压缩所需的基本表示元素。实验表明，该方法能达到与单独训练参考模型相当的压缩效率，并减少解码时间。
变量量化控制器在图像压缩中有什么作用？
变量量化控制器能动态分配显著通道和微不足道通道的比特率，同时结合高斯混合模型量化器，实验证明能更好地重构图像并取得更好性能。
软硬编码方法如何解决神经图像压缩中的训练测试不匹配问题？
软硬编码方法先学习一个表达力强的隐变量空间，再采用硬编码方法解决训练集和测试集不匹配的问题，同时引入加性噪声自适应控制量化粒度，实验表明在复杂压缩模型上表现稳定有效。
基于Transformer的图像压缩系统如何实现可变质量目标？
该系统根据用户偏好提供可变图像质量目标，通过引入提示符令牌，自适应生成、学习和适应编码和/或解码过程，在可变质量目标下提高压缩效果。
层次VQ-VAE在图像压缩中有什么特点？
层次VQ-VAE用于近似压缩图像，同时保持感知质量和抽象特征。在CelebA和MNIST数据集上进行了定性和定量评估。
基于深度学习的图像压缩与JPEG和JPEG2000相比性能如何？
基于深度学习的图像压缩方法（如非线性分析变换、均匀量化器和非线性合成变换构成的模型）具有比标准JPEG和JPEG2000更好的率失真性能，并且在所有位率下对所有图像的视觉质量均有显著提高。
