超越视觉思维链：面向主动视频推理的内化视觉思维
内容提要
本文介绍“内化视觉思维”（IVT）框架，用于视频推理。IVT在训练时预测未来帧的潜在表征，推理时直接生成答案，无需生成中间图像。相比视觉思维链（Visual CoT），IVT性能相当或更优，且延迟降低5倍以上，表明显式像素生成在推理中并非必需，可提升效率与准确性。
延伸解读
效率与性能兼得
IVT框架在推理时直接生成答案，无需像视觉思维链那样生成中间图像，从而将端到端延迟降低5倍以上。同时，在六个评估设置中，IVT均优于仅文本的后训练方法，且与视觉思维链相比性能相当或更优。这表明，通过训练阶段的内化，可以在不牺牲准确性的前提下大幅提升推理效率。
训练与推理的分离
IVT的核心思想是在训练时预测未来帧的潜在表征，而推理时直接输出答案。这种设计将视觉预测能力内化到模型参数中，避免了推理时的额外计算。文章通过控制实验研究了目标表征、解码器设计、预测范围等因素，为如何有效内化视觉思维提供了参考。
对视觉推理的启示
IVT的结果表明，显式的像素级生成在主动视频推理中可能并非必需。这挑战了视觉思维链中依赖中间图像的做法，提示未来多模态推理模型可以更注重训练阶段的世界建模，而非推理时的逐步生成，从而在保持性能的同时提升响应速度。
Q&A
什么是内化视觉思维（IVT）框架？
IVT是一种用于视频推理的后训练框架，它在训练时联合优化文本预测和下一嵌入预测，在推理时直接生成答案，无需生成中间图像。
IVT与视觉思维链（Visual CoT）相比有哪些优势？
IVT在性能上与Visual CoT相当或更优，同时将端到端延迟降低了5倍以上，因为它避免了推理时生成中间图像的开销。
IVT在训练时如何工作？
IVT在训练时，给定部分观察的视频，预测未来帧的潜在表征以及目标文本答案，从而鼓励模型捕捉运动、物体转换、交互和潜在意图。
IVT在推理时如何工作？
IVT在推理时直接生成答案，无需合成或重新编码未来帧，从而保持高效的推理路径。
IVT相比纯文本后训练的效果如何？
IVT在所有六种评估设置中均优于纯文本后训练，同时保持相同的推理效率。
IVT的研究发现对视频推理领域有何启示？
研究表明，推理时显式的像素空间生成（如Visual CoT）可能并非必要，预测性世界建模可以在训练中内化，从而产生更准确且更高效的多模态推理器。
