实时互动网
·
ECCV 2026 | NeFIC：用“下一帧预测”重新定义超低码率图像解码
内容提要
本文介绍了一种新型超低码率图像压缩方法NeFIC。该方法通过解码锚点帧并利用视频扩散模型进行下一帧预测，提高了解码效率和图像质量。实验结果表明，NeFIC在多个测试集上显著降低了码率，同时保持高感知质量和真实感，节省超过50%的码率。
关键要点
-
NeFIC是一种新型的超低码率图像压缩方法，通过解码锚点帧并利用视频扩散模型进行下一帧预测，提高了解码效率和图像质量。
-
该方法首先解码出一张保留场景几何、语义布局和粗粒度外观的紧凑锚点帧，然后将恢复过程视为一次虚拟的时间演化。
-
实验结果表明，NeFIC在多个测试集上显著降低了码率，同时保持高感知质量和真实感，节省超过50%的码率。
-
NeFIC采用两阶段训练方案，第一阶段适配视频扩散模型为压缩感知的单间隔解码器，第二阶段建立从压缩潜变量到生成潜空间的语义旁路。
-
在Kodak、DIV2K和CLIC2020测试集上，NeFIC在感知保真度、生成真实感和失真性能上均表现优异，显著优于现有模型DiffC。
延伸解读
NeFIC的创新之处
NeFIC通过引入锚点帧的概念，重新定义了超低码率图像解码的过程。这种方法不仅保留了场景的几何和语义布局，还利用视频扩散模型进行下一帧的预测，从而提高了图像的真实感和质量。这种创新使得解码过程更高效，减少了传统方法中多步生成带来的延迟。
实验结果的意义
实验表明，NeFIC在多个测试集上显著降低了码率，同时保持了高感知质量。这一结果不仅展示了其在技术上的突破，也为未来的图像压缩技术提供了新的思路，尤其是在需要高效传输的场景中，NeFIC的优势将更加明显。
潜在的应用场景
NeFIC的超低码率图像压缩技术在视频流媒体、实时通信等领域具有广泛的应用潜力。随着网络带宽的限制和对高质量图像需求的增加，NeFIC能够有效地平衡图像质量与传输效率，为相关行业提供更优的解决方案。
延伸问答
NeFIC方法的主要创新点是什么？
NeFIC通过解码锚点帧并利用视频扩散模型进行下一帧预测，重新定义了超低码率图像解码的过程。
NeFIC在解码效率和图像质量上有什么优势？
NeFIC在多个测试集上显著降低了码率，同时保持高感知质量和真实感，节省超过50%的码率。
NeFIC的训练方案是怎样的？
NeFIC采用两阶段训练方案，第一阶段适配视频扩散模型为压缩感知的单间隔解码器，第二阶段建立从压缩潜变量到生成潜空间的语义旁路。
NeFIC如何处理超低码率图像压缩中的信息传输？
NeFIC通过锚点帧传输场景几何、语义布局和粗粒度外观，生成模型负责补全高频细节。
NeFIC在Kodak、DIV2K和CLIC2020测试集上的表现如何？
NeFIC在这些测试集上表现优异，感知保真度、生成真实感和失真性能均显著优于现有模型DiffC。
为什么选择视频扩散模型而不是图像扩散模型？
视频扩散模型能够学习细节随时间出现的动态过程，更适合超低码率解码的需求。
