本文探讨了图像-文本检索(ITR)的评估管道及其脆弱性,并提出改进方案。研究提出了一种高效的文本到视频检索方法,结合多粒度视觉特征学习和二阶段检索架构,性能与现有方法相当且速度快50倍。此外,提供了细粒度图像检索模型设计指南和新颖的检索框架,显著提升了检索准确性和效率。
该研究改进了视频-语言对齐模型,提出了对比失配频谱和构建了对齐数据集。对齐模型在人工生成的对比字幕上,在视频-语言对齐任务中的AUC指标提升了12个百分点,并在文本到视频检索和视频问答等任务中表现出了最新性能。
完成下面两步后,将自动完成登录并继续当前操作。