超越不确定性：用于稳健视频时间基础的证据深度学习
内容提要
本文介绍了多种视频定位模型的研究进展，包括DeNet、SNGP、CONE和VTG-GPT等。研究者通过不同方法提升视频时序定位的精确度和效率，探索大规模预训练模型在视频对齐任务中的应用，并提出了无训练视频时间定位方法，展现了良好的泛化能力。
延伸解读
不确定性量化在视频定位中的演进
文章从DeNet和SNGP出发，展示了处理不确定性的两条路径：DeNet通过解耦和去偏消除查询与标记的主观性，SNGP则将不确定性量化形式化为极小化-极大化问题以提升距离感知。这些早期工作为后续视频时序定位模型提供了方法论基础，即通过显式建模不确定性来增强稳健性。
从有监督到零训练：定位范式的转变
CONE和事件感知查询等方法依赖有监督学习，在基准测试中取得最佳效果，但泛化能力受限。VTG-GPT和2024年8月提出的无训练方法则利用大规模预训练模型，减少人为偏见，在零样本设定下达到与有监督方法相媲美的性能，并展现出跨数据集和OOD情境下的更好泛化能力。
视频LLM在时间定位中的潜力与局限
LLM4VG基准测试系统评估了视频LLM在视频对齐任务上的表现，结论是现有模型距离令人满意的性能还有很长的路要走，需要进一步微调以包含更多时间相关任务。而VTG-LLM通过结合时间戳知识与视觉标记，并引入槽位标记压缩，在多种VTG任务上展现出卓越性能，表明针对性设计能有效提升LLM的时间定位能力。
效率与可扩展性的权衡
SnAG通过分析跨模态融合对可扩展性的影响，发现后期融合对长视频和大量文本查询更具成本效益，并提出基于视频的采样方案以实现高效训练。在MAD数据集上，SnAG相比CONE在长视频上更准确且快速，同时在短视频上也具有竞争力，为视频定位的实用部署提供了简单而有效的基准。
Q&A
DeNet方法是如何提升视频定位性能的？
DeNet方法通过Decoupling和De-bias机制消除查询和标记的不确定性，从而在多标签度量方面取得更好的性能。
CONE框架在视频时序定位中有什么优势？
CONE框架利用对比学习提高视频时序定位的精确度和效率，取得了业界最佳成果。
VTG-GPT方法的主要特点是什么？
VTG-GPT是一种基于GPT的零训练方法，旨在减少人为偏见，实现与有监督方法相媲美的性能。
SNGP方法如何改进深度神经网络的性能？
SNGP方法通过改进不确定性量化能力，提高了距离感知能力和预测性能。
无训练视频时间定位方法的优势是什么？
无训练视频时间定位方法利用大规模预训练模型，展现出良好的泛化能力，特别是在零-shot任务中表现优越。
SnAG模型与CONE方法相比有什么优势？
SnAG模型在长视频和短视频上均表现出色，相较于CONE方法更具准确性和速度。
