迈向平衡对齐：视频时刻检索的模态增强语义建模

BriefGPT - AI 论文速递 · 2023-12-19T00:00:00Z

本文介绍了一种名为HAMMER的HierArchical Multi-Modal EncodeR模型，通过编码视频的粗略片段和细粒度帧级别，从多个子任务中提取不同尺度的信息，解决了未处理和未分段视频中定位未定义段的问题。实验结果表明，该方法优于以前的方法和强基线，是该任务的新的最佳方法。