通过丰富的上下文和区分特征嵌入检索拼接视频
原文中文，约1500字，阅读约需4分钟。
📝
内容提要
本文提出了可扩展的组合图像检索（CoIR）任务，并扩展至组合视频检索（CoVR）。通过生成160万个三元组的WebVid-CoVR数据集，实验证明在该数据集上训练的CoVR模型能有效提升检索性能。研究还展示了如何利用多模态信息和新型模型提高视频检索的准确性和效率。
🔎
延伸解读
自动构建大规模三元组数据集
文章提出通过挖掘标题相似的视频对，并利用大型语言模型生成修改文本，自动构建了包含160万个三元组的WebVid-CoVR数据集。这种方法避免了人工标注的高成本，为组合视频检索研究提供了可扩展的数据基础。
跨任务迁移的有效性
实验表明，在WebVid-CoVR上训练的CoVR模型能够有效迁移到组合图像检索任务，并在CIRR和FashionIQ基准上取得了最新性能。这提示组合视频检索学习到的特征可能具有跨模态的通用性，为多模态检索研究提供了新思路。
组合检索的任务定义与挑战
组合图像检索（CoIR）和组合视频检索（CoVR）要求模型根据参考图像/视频和修改文本生成目标检索结果。文章将CoIR扩展到视频领域，并指出利用多模态信息和新型模型可以提高检索准确性和效率，但如何有效融合多模态信息仍是挑战。
❓
Q&A
什么是组合视频检索（CoVR）？
组合视频检索（CoVR）是一个扩展的任务，旨在通过生成三元组来提高视频检索的性能。
WebVid-CoVR数据集包含多少个三元组？
WebVid-CoVR数据集包含160万个三元组。
CoVR模型如何提升检索性能？
CoVR模型通过在WebVid-CoVR数据集上训练，能够有效提升检索性能。
多模态信息在视频检索中有什么作用？
多模态信息可以提高视频检索的准确性和效率。
如何生成WebVid-CoVR数据集？
WebVid-CoVR数据集是通过挖掘具有相似标题的配对视频并生成相应的三元组创建的。
CoVR模型的训练效果如何？
在WebVid-CoVR数据集上训练的CoVR模型在CIRR和FashionIQ基准测试中表现出色。
🏷️
