VideoPrism：一种用于视频理解的基础视觉编码器
内容提要
该文综述视频文本检索与理解研究，涵盖ViT、Timesformer等Transformer模型，利用WebVid-2M等数据训练，在视频检索、分类、字幕和问答任务上取得最优结果，并探索高效长视频建模与多模态预训练方法。
延伸解读
技术演进：从图像到视频的Transformer适应
文章梳理了视频理解模型从ViT、Timesformer等图像Transformer扩展而来的路径。早期工作通过分解时空注意力处理长序列，并利用WebVid-2M等数据训练，在检索和分类任务上超越3D卷积网络。这反映了视频领域借鉴图像模型并针对时序特性改进的趋势。
长视频建模：效率与准确度的权衡
针对长视频，文章指出空间能力不足和内存消耗过高是主要限制。通过遮盖大部分视频内容来扩展编码器，被证明是一种有效方法，能训练十亿参数模型并在长时依赖基准上超越更大聚合模型。这提示读者，高效建模可能比单纯增大模型更重要。
多模态预训练：任务无关与参数高效
文章提到多种预训练策略，如VideoOFA的两阶段框架、任务无关的多模态预训练，以及通过连续提示向量适应预训练图像-语言模型的方法。这些方法在减少优化参数的同时，在检索、定位等任务上达到或超越特定预训练，显示了参数高效迁移的潜力。
Q&A
VideoPrism 是什么？
VideoPrism 是一种用于视频理解的基础视觉编码器，旨在处理视频文本检索等任务。
VideoPrism 在视频理解任务中取得了哪些成果？
VideoPrism 在视频检索、分类、字幕和问答任务上取得了最优结果。
VideoPrism 使用了哪些模型架构？
VideoPrism 基于 ViT 和 Timesformer 框架的改进扩展，包括时间和空间方面的注意力机制。
VideoPrism 在哪些数据集上进行了训练？
VideoPrism 使用了 WebVid-2M 等数据集进行训练。
VideoPrism 如何处理长视频建模？
VideoPrism 探索了高效长视频建模方法，例如通过遮盖视频的大部分内容来扩展编码器，能够训练具有 10 亿参数的长视频到文本模型。
VideoPrism 在多模态预训练方面有哪些探索？
VideoPrism 探索了多模态预训练方法，例如使用合成的教学数据微调图像语言基准，生成高质量视频标题，并在多个视频-语言基准上取得显著结果。
