量子位
·
打破跨模态干扰，快手东北大学联合提出统一多模态框架，横扫多模态检索基准
内容提要
快手与东北大学联合推出UNITE框架，旨在解决多模态检索中的跨模态干扰问题。该框架能够处理文本、图像和视频等多种输入，采用模态感知对比学习机制，显著提升检索性能。在多个评测中，UNITE表现优异，超越现有模型，展现出良好的通用性和综合性能。
关键要点
-
快手与东北大学联合推出UNITE框架，解决多模态检索中的跨模态干扰问题。
-
UNITE框架能够处理文本、图像、视频等多种输入，构建统一嵌入器。
-
采用模态感知对比学习机制（MAMCL），显著缓解跨模态干扰。
-
UNITE在细粒度检索、指令检索等多个评测中表现优异，超越现有模型。
-
UNITE在图像-文本检索和视频-文本检索任务中均取得最佳成绩。
-
UNITE 7B在MMEB Benchmark中达到了最优性能70.3，超越更大规模模型。
-
视频-文本数据在检索任务中表现突出，但在复杂指令任务中优势不明显。
-
细粒度Text-Video样本的添加策略显著提升整体性能。
延伸解读
跨模态干扰的挑战与解决方案
多模态检索中的跨模态干扰问题一直困扰着研究者。UNITE框架通过模态感知对比学习机制（MAMCL）有效缓解了这一问题，确保模型在处理不同模态时能准确建模，避免了模态间的错误竞争。这一创新为多模态检索技术的发展提供了新的思路。
UNITE框架的评测表现
UNITE在多个评测中表现优异，尤其是在细粒度检索和指令检索任务中，超越了现有的多模态模型。这表明UNITE不仅具备强大的检索能力，还展现了良好的通用性，适用于多种应用场景，值得关注其在实际应用中的潜力。
视频-文本数据的优势与局限
UNITE框架显示出视频-文本数据在检索任务中的突出表现，尤其是在视频检索中。然而，在复杂的指令类任务中，其优势并不明显，说明文本主导的数据仍然是理解复杂逻辑和指令的关键。这提示研究者在设计多模态系统时需综合考虑不同模态的特性。
延伸问答
UNITE框架的主要目标是什么？
UNITE框架的主要目标是构建一个能同时处理文本、图像、视频及其融合模态输入的统一嵌入器。
UNITE框架如何解决跨模态干扰问题？
UNITE框架通过模态感知对比学习机制（MAMCL）来缓解跨模态干扰，确保在对比学习中只考虑模态一致的样本。
UNITE在多模态检索任务中的表现如何？
UNITE在细粒度检索、指令检索等多个评测中表现优异，超越现有模型，展现出良好的通用性和综合性能。
UNITE框架采用了什么样的训练机制？
UNITE框架采用了“检索适应 + 指令微调”的两阶段训练方案，以提升模型的检索能力和指令遵循能力。
UNITE在视频-文本检索任务中的表现如何？
UNITE在视频-文本检索任务中表现突出，尤其在CaReBench的多个子任务中刷新了当前最好表现。
UNITE框架的通用性如何？
UNITE在多个标准跨模态检索任务上展现了良好的通用表征能力，支持文本、图像、视频及融合模态内容。
