TVR-Ranking: 一份暧昧查询下的视频时刻排序检索数据集
内容提要
本研究介绍了电视节目检索（TVR）数据集，包含109K个查询及其相关视频和字幕。提出了跨模态时刻定位网络（XML）和多模态字幕数据集（TVC），旨在提高视频时刻检索的效率和性能。此外，开发了多种模型，如可靠的互补匹配网络（RMMN）和DiffusionVMR，显著提升了视频检索效果。
延伸解读
数据集规模与多语言扩展
TVR数据集包含109K个查询，每个查询与精确时间窗口关联，并带有指示查询与视频或字幕相关性的类型标签。在此基础上，mTVR数据集进一步扩展至21.8K个电视节目的218K个中英文查询，为多语言视频时刻检索提供了更大规模的基准。这些数据集均公开获取，有助于推动该领域的可复现研究。
模型演进：从XML到DiffusionVMR
针对视频时刻检索任务，研究者提出了多种模型。XML采用卷积起始和结束检测器（ConvSE）提升效率与性能；RMMN通过对比学习利用准确负样本增强鲁棒性；DiffusionVMR则将检索重构为去噪生成过程，从噪声中采样候选时段。这些模型反映了该领域从判别式方法向生成式方法的演进趋势。
跨模态与背景感知的优化策略
EVA模型通过多支视觉文本对齐实现跨模态匹配信息共享，优化领域不变的视觉和文本特征。BM-DETR则利用负查询和周围背景提高时刻灵敏度与泛化能力。CONQUER融合多模态视频内容和双向注意力，实现精确定位与排序。这些策略共同提升了模型对复杂多模态信号的处理能力。
零样本与部分相关性的新视角
零样本简单方法无需微调，仅重用现成模型，在QVHighlights基准上将零样本与最先进有监督方法的差距缩小超过74%。PREM针对视频语料库时刻检索（VCMR）任务，通过部分相关性增强策略在检索和定位子任务中取得更好性能。这些工作拓展了视频时刻检索在低资源场景下的可能性。
Q&A
什么是电视节目检索（TVR）数据集？
电视节目检索（TVR）数据集包含109K个查询及其相关视频和字幕，旨在提高视频时刻检索的效率和性能。
跨模态时刻定位网络（XML）有什么特点？
跨模态时刻定位网络（XML）采用新颖的卷积起始和结束检测器（ConvSE），提高了视频时刻检索的效率和性能。
如何提高视频时刻检索的鲁棒性？
通过开发可靠的互补匹配网络（RMMN），利用对比学习对负样本进行处理，从而提高视频时刻检索的鲁棒性。
DiffusionVMR框架的主要创新是什么？
DiffusionVMR框架将视频时刻检索重新构想为去噪生成过程，直接从噪声中采样随机时段作为候选，提升了检索效果。
mTVR数据集包含哪些语言的查询？
mTVR数据集包含218K个英文和中文查询，来自21.8K个电视节目。
CONQUER模型是如何提升视频检索效果的？
CONQUER模型通过融合多模态视频内容和双向注意力，利用查询上下文实现精确定位和排序，从而提升视频检索效果。
