通过条件扩散解码器增强学习图像编解码器的速率失真感知灵活性

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

本文提出了一种新型模型不可知剪枝方案,通过梯度衰减和自适应分层蒸馏来优化稀疏训练,以提高视频编码器的压缩效率。实验结果表明,该方法在减少计算开销的同时提高了速度和保持了视频质量。

🎯

关键要点

  • 端到端学习的视频编码器在压缩效率方面与传统编码算法竞争。
  • 基于学习的视频压缩模型存在高计算复杂性和延迟的问题,限制了实际应用。
  • 提出了一种新型模型不可知剪枝方案,结合梯度衰减和自适应分层蒸馏。
  • 梯度衰减增强了稀疏化过程中的参数探索,防止过度稀疏。
  • 自适应分层蒸馏根据中间特征的失真情况调整稀疏训练,减少计算开销。
  • 该方法已应用于三种流行的视频编码器:FVC、DCVC 和 DCVC-HEM。
  • 实验结果显示,方法在 MACS 上减少了高达 65%,速度提升了 2 倍,BD-PSNR 下降不到 0.3dB。
  • 支持代码和补充材料可从指定链接下载。
➡️

继续阅读