基于神经网络的提升步骤,以改善 JPEG 2000 中的完全可扩展有损图像压缩
内容提要
本文综述深度学习图像与视频压缩研究,涵盖学习式类小波变换(较JPEG 2000节省超25%比特率)、非线性分析/合成变换与量化器的率失真优化、Weightless利用Bloomier过滤器将网络内存降至1/496,以及联合有损与残差压缩、多尺度自编码、CNN视频压缩、结合传统编解码器框架、DWT-CompCNN文档分类、迭代权重量化和JND感知优化等方法。
延伸解读
学习式变换的压缩效率优势
文章指出,学习到的类小波变换在紧凑空间支持下,相比JPEG 2000可实现超过25%的比特率节省。这一结果基于对多种神经网络与lifting小波变换结合方式的全面研究,表明数据驱动的变换设计在提升压缩效率方面具有明确潜力,为后续研究提供了可参照的基准。
率失真优化与量化处理
针对非线性分析/合成变换与均匀量化器构成的压缩模型,文章采用随机梯度下降变体优化整个模型,并引入连续代理来缓解量化器产生的不连续损失。该方法在率失真性能上优于标准JPEG和JPEG 2000,且在所有位率下对图像视觉质量均有显著提高,说明端到端优化能有效协调压缩率与重建质量。
模型轻量化与部署可行性
Weightless方案基于Bloomier过滤器结合传统压缩技术,在不影响模型准确性的前提下,将深度神经网络内存占用降至原来的1/496,较现有技术获得1.51倍提升。这一结果提示,通过外部存储与过滤机制可大幅降低学习式压缩模型的内存需求,为资源受限环境下的部署提供了可行路径。
感知优化与多场景扩展
文章还涵盖联合有损与残差压缩、多尺度自编码、CNN视频压缩、结合传统编解码器框架、DWT-CompCNN文档分类、迭代权重量化及JND感知优化等方法。其中JND整合在训练后不增加额外复杂性,却能增强率失真表现和视觉质量,表明感知原则与学习式压缩的结合具有实用价值,且可扩展至视频、文档等不同场景。
Q&A
学习式类小波变换相比JPEG 2000在比特率上能节省多少?
学习式类小波变换相比JPEG 2000在紧凑空间支持下实现了超过25%的比特率节省。
Weightless方案如何降低深度神经网络的内存占用?
Weightless方案基于Bloomier过滤器并结合传统压缩技术,在不影响模型准确性的前提下,将深度神经网络的内存占用降低至原来的1/496,较现有技术获得了1.51倍的提升。
联合有损图像和剩余压缩框架的目的是什么?
该框架用于学习l∞约束的接近无损图像压缩,通过有损图像压缩获得原始图像的有损重建,并均匀量化相应的剩余部分以满足给定的紧l∞误差界限。
基于深度学习的视频压缩方法有哪些优势?
利用卷积神经网络及非局部冗余优化视频压缩,可以达到与预处理去噪CNN类似的编码增益,同时只需要约为1%的计算复杂度,适用于资源受限的条件下进行视频压缩。
DWT-CompCNN模型在文档分类中有什么特点?
DWT-CompCNN使用高通量JPEG 2000(HTJ2K)算法压缩文档,并从中提取离散小波系数,从而在压缩域中高效准确地对文档进行分类。实验表明该模型在时间和空间上的效率更高,而且能够取得更好的分类效果。
JND感知优化如何提升学习图像压缩的性能?
通过将JND原则融入学习图像压缩的训练过程中,提出了三种感知优化方法,证明了JND整合对于增强速率-失真表现和视觉质量的有效性,相比基线方法,所提出的方法在训练后不增加额外复杂性。