超过 ECM 的神经网络增强视频编码框架
内容提要
本文综述机器视觉视频编码（VCM）进展，提出多尺度特征压缩、光流视频压缩、NN-VVC混合编解码器、可扩展编码及EDIC图像压缩等框架，兼顾人机视觉，在检测、PSNR、MS-SSIM上优于H.264/H.265/VVC，节省比特率并提升解码速度。
延伸解读
从人眼到机器：VCM 的范式转变
文章指出，传统视频编码主要面向人类视觉，而 VCM 则同时兼顾机器视觉任务。例如，可扩展编码框架通过基础层支持物体检测，增强层服务人类观看，在检测任务上比最先进编解码器节省 13-19% 比特率。这提示读者，未来编码标准可能不再单纯追求 PSNR，而是根据下游任务动态分配码率。
混合编解码器的性能突破
NN-VVC 将端到端学习图像编解码器与传统视频编解码器结合，在多个机器视觉任务上较 VVC 实现高达 -43.20% 和 -26.8% 的 BD 速率降低。这是首篇在多个数据集和任务上展示优于 VVC 的混合视频编解码器研究。读者可关注其如何平衡学习组件与传统组件的复杂度，以及在实际部署中的兼容性。
多尺度特征压缩的极致效率
多尺度特征压缩方法在仅保留 0.002-0.003% 未压缩特征数据量的情况下，仍能实现接近无损的物体检测性能。这展示了特征域压缩的巨大潜力，但读者需注意，该结果依赖于特定检测任务和网络，泛化到其他视觉任务时可能需重新调整压缩率与性能的权衡。
可扩展编码与解码速度优化
文章提到可扩展编码框架和 EDIC 图像压缩方法。EDIC 通过通道关注、高斯混合模型和解码器侧增强，将解码速度提高超过 150 倍。这些技术表明，在提升压缩效率的同时，解码复杂度也是关键考量。读者应留意，不同方法在比特率节省与计算开销之间的取舍，实际应用需根据硬件条件选择。
Q&A
什么是VCM（机器视觉视频编码）？
VCM是Video Coding for Machines的缩写，指面向机器视觉的视频编码新领域，旨在同时支持人类视觉和机器视觉任务，实现可扩展的信号表示。
NN-VVC混合编解码器相比VVC有什么优势？
NN-VVC结合了端到端学习的图像编解码器和传统视频编解码器，在多个数据集和机器视觉任务上，相比VVC实现了高达-43.20%和-26.8%的Bjøntegaard Delta速率减小。
基于深度学习的视频压缩方法在PSNR和MS-SSIM上表现如何？
该方法在PSNR方面优于H.264标准，在MS-SSIM方面与最新的H.265标准相当。
可扩展视频编码框架如何同时支持机器视觉和人类视觉？
该框架通过基础层比特流支持机器视觉（特别是物体检测），增强层比特流支持人类视觉，在物体检测方面比最先进的视频编解码器节省13-19%的比特率，同时在人类视觉任务的MS-SSIM方面保持有竞争力。
EDIC图像压缩方法有哪些技术创新？
EDIC基于三种新技术：通道关注模块、高斯混合模型和解码器侧增强模块，优于当前所有先进的图像压缩方法，并将解码速度提高了超过150倍。
多尺度特征压缩方法在对象检测中取得了什么效果？
该方法在对象检测中取得了显著的性能提升，并且在仅保留0.002-0.003%未压缩特征数据量的情况下，仍可以实现接近无损的性能。
