视频生成的测试时Scaling时刻！清华开源Video-T1，无需重新训练让性能飙升
内容提要
清华大学与腾讯的研究团队首次探索视频生成的Test-Time Scaling，提出了高效的Tree-of-Frames方法，显著提升了视频生成的质量与效率，并降低了计算需求。该方法通过自适应扩展和修剪视频分支，实现了计算成本与生成质量的动态平衡。
关键要点
-
清华大学与腾讯的研究团队首次探索视频生成的Test-Time Scaling。
-
提出了高效的Tree-of-Frames方法，显著提升视频生成的质量与效率。
-
视频生成的性能主要通过增大基础模型的参数量和预训练数据实现提升。
-
Video-T1是首次将Test-Time Scaling引入视频生成领域，突破了传统方式的局限性。
-
研究团队通过增加推理阶段计算显著提升视频生成质量，在VBench上实现了最高5.86%的总分提升。
-
随机线性搜索被建模为从高斯噪声空间到目标视频分布的轨迹搜索问题。
-
Tree-of-Frames方法通过自适应扩展和修剪视频分支，实现计算成本与生成质量的动态平衡。
-
Tree-of-Frames方法显著提高搜索效率，降低视频模型的推理计算需求。
-
研究团队通过比较不同Test-Time Scaling方法发现Tree-of-Frames在相同NFE情况下显著提高视频表现。
-
首帧对视频整体对齐影响较大，研究团队利用单帧生成思维链和层次化提示词增强帧的生成和提示词对齐。
-
实验结果表明，无论是基于Diffusion的模型还是Autoregressive范式的模型，都能通过Test-Time Scaling实现生成视频性能的提升。
-
使用不同的VLM作为Verifier对视频生成质量的提升效果有所不同，Multiple Verifier效果更佳。
-
研究团队提供了Tree-of-Frames层次化提示词和过程中验证的可视化结果。
延伸解读
Test-Time Scaling的创新意义
清华大学与腾讯的研究团队首次将Test-Time Scaling引入视频生成领域，突破了传统方法的局限性。这一创新不仅提升了视频生成的质量和效率，还降低了对计算资源的需求，为未来的多模态生成提供了新的思路。
Tree-of-Frames方法的优势
Tree-of-Frames方法通过自适应扩展和修剪视频分支，实现了计算成本与生成质量的动态平衡。相比于传统的随机线性搜索，该方法显著提高了搜索效率，降低了推理计算需求，适合在资源有限的情况下进行高效的视频生成。
多样化验证器的效果
研究表明，使用不同的VLM作为验证器对视频生成质量的提升效果有所不同。采用多个验证器的组合可以在相同的计算评估次数下，显著提高生成效果，这为后续研究提供了新的方向，强调了多样化工具在生成任务中的重要性。
延伸问答
什么是视频生成的Test-Time Scaling？
视频生成的Test-Time Scaling是一种通过增加推理阶段计算来提升视频生成质量的方法，首次由清华大学与腾讯的研究团队提出。
Tree-of-Frames方法如何提高视频生成的效率？
Tree-of-Frames方法通过自适应扩展和修剪视频分支，实现计算成本与生成质量的动态平衡，从而显著提高搜索效率。
Video-T1项目的主要贡献是什么？
Video-T1项目首次将Test-Time Scaling引入视频生成领域，显著提升了视频生成的质量与效率，并降低了计算需求。
在VBench上，研究团队的实验结果如何？
在VBench上，研究团队通过增加推理阶段计算实现了最高5.86%的总分提升，显示出模型能力随着样本数目增加而增长。
使用不同的VLM作为Verifier对视频生成质量的影响是什么？
使用不同的VLM作为Verifier对视频生成质量的提升效果有所不同，Multiple Verifier的效果更佳。
如何通过层次化提示词增强视频生成的质量？
通过单帧生成思维链和层次化提示词，研究团队增强了帧的生成和提示词对齐，从而提高视频生成的整体质量。
