冷酷时尚的视频:以 800 个参数进行学习式视频编码
内容提要
该文综述神经视频编码进展:C3通过过拟合降低解码复杂度,性能媲美H.266;ELF-VC、AlphaVC等提升压缩效率,部分超越VVC;另有面向机器视觉的混合编解码器NN-VVC,以及移动端实时1080p解码和剪枝加速方案。
延伸解读
神经视频编码的实用化进展
文章提到,C3通过过拟合降低解码复杂度,在CLIC2020和UVG基准上,解码每像素MAC数分别低于3k和5k,性能与H.266和Video Compression Transformer相当。此外,已有研究实现移动端实时1080p YUV420解码,以及通过剪枝方案减少65% MACs并提升2倍速度。这些进展表明神经视频编码正逐步解决高复杂度问题,向实际部署迈进。
压缩效率超越传统标准
ELF-VC在低延迟模式下,PSNR、MS-SSIM、VMAF等指标优于H.264、H.265、AV1及所有机器学习编解码器,且速度快至少5倍。AlphaVC在PSNR和MS-SSIM上超过VVC,并具有快速编解码速度。NN-VVC混合编解码器在机器视觉任务上较VVC实现高达43.20%的BD-rate降低。这些结果表明学习型方法在压缩效率上已具备超越传统标准的潜力。
面向机器视觉的编码新范式
文章介绍了面向机器视觉的混合编解码器NN-VVC,结合端到端学习图像编解码器和传统视频编解码器,在多个数据集和机器视觉任务上优于VVC。此外,还有基于条件编码的系统,基础层支持机器视觉任务,增强层支持人类视觉重建,在基础层上优于现有学习型和传统视频编码。这反映了视频编码正从单纯服务人类视觉向兼顾机器视觉任务扩展。
Q&A
C3 神经压缩方法的主要特点是什么?
C3 通过对每个图像或视频进行过度拟合来获得强大的率失真性能,其解码复杂度比其他具有相似率失真性能的神经模型降低一个数量级。在 CLIC2020 图像基准测试中,C3 解码的每个像素的 MAC 数减少到不足 3k,与 H.266 编解码器的 VDH 性能相当;在 UVG 视频基准测试中,每个像素的 MAC 数减少到不足 5k,与 Video Compression Transformer 的 VDH 性能相当。
ELF-VC 在视频压缩方面有哪些优势?
ELF-VC 通过提出专门用于机器学习的高效骨干网络和基于优化的流预测方案等新颖方法,在视频压缩的低延迟模式下(只有 I 帧和 P 帧)具有更高的性能和更好的效率。与主流视频标准(如 H.264、H.265、AV1)和所有机器学习编解码器相比,在比特率范围内具有很好的 PSNR、MS-SSIM、VMAF 等指标,而且至少比所有机器学习编解码器都快 5 倍,并有更少的参数。
AlphaVC 采用了哪些新技术来提升压缩性能?
AlphaVC 采用了几种新技术来有效提高压缩性能,包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。
NN-VVC 混合编解码器在机器视觉任务上的表现如何?
NN-VVC 是一种混合编解码器,结合了端到端学习的图像编解码器和传统视频编解码器(CVC),在图像和视频编码领域为机器实现高性能。实验证明,该系统在多个数据集和机器视觉任务上较 VVC 实现了高达 -43.20% 和 -26.8% 的 Bjøntegaard Delta 速率减小。据我们所知,这是第一篇在多个数据集和多个机器视觉任务上展示了优于 VVC 的混合视频编解码器的研究论文。
移动设备上实时解码 1080p 视频的神经视频编解码器是如何实现的?
该研究提出了第一个在移动设备上实时解码 1080p YUV420 视频的神经视频编解码器,它利用基于块的运动补偿算法实现了高效编解码,并通过在神经信号处理器上同时运行神经网络组件、在移动 GPU 上运行并行熵编码以及在加速器的变换核上实现变换,从而在性能上显著超过之前的设备上编解码器。
用于端到端学习视频编码器的剪枝方案是什么?效果如何?
该剪枝方案基于梯度衰减和自适应分层蒸馏,是一种模型不可知的剪枝方案。梯度衰减增强了稀疏化过程中的参数探索,同时防止过度稀疏,比标准的直通估计方法更优;自适应分层蒸馏根据中间特征的失真情况,在不同阶段有效地调整稀疏训练,以最小的计算开销更新参数。该方案已应用于 FVC、DCVC 和 DCVC-HEM 三种流行的端到端学习视频编码器,结果表明在 MACS 上减少了高达 65%,速度提升了 2 倍,并且 BD-PSNR 下降不到 0.3dB。