预训练扩散模型的极致视频压缩
内容提要
该文综述扩散模型在视频生成与压缩中的应用：通过联合训练图像与视频生成高保真、时空连续的视频，并改进条件采样；提出隐式条件建模、自回归端到端优化、轻量层级扩散、投影潜空间扩散、VideoFusion噪声分解及稳定视频扩散等方法，在FVD和视觉质量上优于GAN；同时用于有损压缩，提升低比特率下的重建质量。
延伸解读
扩散模型在视频生成中的演进脉络
文章按时间顺序梳理了2022年至2023年扩散模型在视频生成领域的多项进展，包括联合图像视频训练、隐式条件建模、自回归端到端优化、轻量层级扩散、投影潜空间扩散、VideoFusion噪声分解以及稳定视频扩散等。这些工作逐步解决了视频生成中的时空连续性、计算效率和长视频合成等挑战，并在FVD和视觉质量上超越了基于GAN的方法。
扩散模型在视频压缩中的双重角色
扩散模型不仅用于生成，还被拓展至有损压缩任务。DiffC利用无条件扩散生成模型，仅传输受高斯噪声污染的像素信息，实现了比HiFiC更高的压缩比并支持流式解码。另一项工作将自编码器与基于分数的解码器结合，在给定比特率下提升视觉质量，FID分数超越PO-ELIC和HiFiC。这些方法表明扩散模型在低比特率重建中具有潜力。
评估指标与性能优势
文章多次提及FVD（Fréchet视频距离）作为评估视频生成质量的关键指标，并指出扩散模型在FVD得分和视觉质量上明显优于GAN方法。例如，PVDM在FVD评估中获得了最高得分，而自回归扩散模型在感知质量和概率预测上也有显著提高。此外，CRPS被提出用于评估视频的概率预测能力，为视频生成提供了更全面的评价维度。
Q&A
扩散模型在视频生成中如何实现高保真且时空连续的视频？
通过扩展图像扩散结构，对图像和视频数据进行联合训练，并引入更好的有条件采样技术，从而生成高保真且时空连续的视频。
有哪些基于扩散模型的视频生成方法在FVD得分上优于GAN？
包括隐式条件建模、自回归端到端优化、轻量层级扩散、投影潜空间扩散（PVDM）、VideoFusion噪声分解以及稳定视频扩散等方法，它们在FVD得分和视觉质量上明显优于基于GAN的方法。
扩散模型如何用于视频的有损压缩？
DiffC方法利用受高斯噪声污染的像素的有效通信来限制传输信息，实现比HiFiC更高的压缩比，并支持流式解码；另一方法将自编码器与基于分数的解码器结合，在给定比特率下提高视觉质量，FID分数超过PO-ELIC和HiFiC。
VideoFusion方法是如何提高视频生成质量的？
VideoFusion通过分解噪声来处理视频数据，并采用两个联合学习的网络来匹配噪声分解，从而提高了视频生成的质量，并且该分解噪声公式可以受益于预训练的图像扩散模型和文本条件下的视频生成。
投影潜空间扩散模型（PVDM）有什么特点？
PVDM在低维潜空间中学习视频分布，通过自编码器将视频投影为二维形状的潜变量，使用专用于新因式潜空间的扩散模型架构和训练/采样程序，能够高效地训练和合成任意长度的视频，并在FVD评估指标上获得了最高得分。
稳定视频扩散模型能做什么？
稳定视频扩散是一种用于高分辨率的文本到视频和图像到视频生成的潜在视频扩散模型。
