使用有条件解码器增强视频的神经表示
内容提要
该文综述了基于隐式神经表示（INR）的视频编解码进展，涵盖NeRV++、D-NeRV、HiNeRV、HNeRV、MV-HiNeRV及混合自回归模型等方法，通过可分离卷积残差块、内容自适应嵌入和混合编码提升压缩效率与重建质量，部分性能超越H.264/H.265。
延伸解读
从隐式到混合：视频神经表示的技术演进
文章梳理了基于隐式神经表示（INR）的视频编解码发展脉络。早期方法如NeRV完全依赖隐式解码，后续D-NeRV引入帧间差异显式运动信息，HNeRV则加入可学习编码器生成内容自适应嵌入，形成混合神经表示。这种从纯隐式到隐式-显式混合的转变，旨在解决大运动或动态场景下建模能力不足的问题，并提升重构质量与收敛速度。
性能提升的关键：架构与训练策略创新
多项工作通过架构改进和训练策略优化提升性能。NeRV++采用可分离卷积残差块和双线性插值跳跃层，增强表示能力；HiNeRV通过训练、修剪和量化的精细管道，在有损模型压缩中保持性能；MARM引入混合自回归模型和综合网络，显著减少解码时间并提高重建质量。这些创新共同推动了INR编解码器在压缩效率与计算效率上的进步。
与传统编解码器的对比：优势与适用场景
HNeRV等混合方法在视频回归任务中重构质量（+4.7 PSNR）和收敛速度（16倍）优于隐式方法，且与传统编解码器（H.264、H.265）和基于学习的方法相比，具有更快的解码速度、更大的灵活性和更简单的部署。D-NeRV在UCF101数据集上作为数据加载器时准确度比NeRV提高3%至10%。这些优势使其在视频压缩、修复和插帧等下游任务中具有潜力。
多视角与沉浸式视频的扩展应用
INR技术已扩展至多视角视频压缩。MV-HiNeRV首次将INR应用于多视角视频，在MPEG沉浸式视频（MIV）测试中表现卓越。另一项工作通过隐式-显式混合编码和多层特征网格嵌入，在视点压缩和场景建模方面达到与MIV标准相当或更好的性能。这表明INR框架在处理复杂多视角内容时具有竞争力，为沉浸式视频应用提供了新思路。
Q&A
NeRV++ 是什么？它有哪些改进？
NeRV++ 是 NeRV 解码器架构的一种增强改进方法，使用可分离卷积残差块（SCRBs）和双线性插值跳跃层等特性，大幅提高了 INR-based 视频编解码的效果和表示能力，实现了与自动编码器基于视频编码相竞争的结果。
D-NeRV 如何提升视频编码效率？
D-NeRV 是一种新的神经表示框架，旨在以更高效的方式对长时间或大量不同内容的视频进行编码。其压缩结果大大超过了现有的 NeRV 和传统视频压缩技术，在相同压缩率下，在 UCF101 数据集上用作高效数据加载器时准确度比 NeRV 提高了 3 至 10%。
HiNeRV 视频编解码器有什么特点？
HiNeRV 是一种基于 HiNeRV 的视频编解码器，具有更高的容量和更好的性能，并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。
HNeRV 相比传统编解码器有哪些优势？
HNeRV 是一种混合神经表示，其中可学习的编码器生成内容自适应嵌入作为解码器输入。它在视频回归任务中的重构质量（+4.7 PSNR）和收敛速度（16 倍）方面优于隐式方法，并展示了更好的内部泛化。与传统编解码器（H.264，H.265）和基于学习的压缩方法相比，具有更快的解码速度、更大的灵活性和更简单的部署，并能在视频压缩和视频修补等下游任务中发挥作用。
MV-HiNeRV 在多视角视频压缩中表现如何？
MV-HiNeRV 是一种新的增强型多视角视频编解码器，用于高效地表示和编码传统视频内容，并在 MPEG Immersive Video（MIV）的测试中表现出卓越的性能。
混合自回归模型（MARM）如何提升 INR 编解码器？
通过引入新的混合自回归模型（MARM）和综合网络，显著减少当前 INR 编解码器的解码时间，并提高重建质量，在保持图片质量的同时显著提高计算效率。
