快手与东北大学联合推出UNITE框架，旨在解决多模态检索中的跨模态干扰问题。该框架能够处理文本、图像和视频等多种输入，采用模态感知对比学习机制，显著提升检索性能。在多个评测中，UNITE表现优异，超越现有模型，展现出良好的通用性和综合性能。

本文研究了基于知识的视觉问答（KVQA），提出了一种模态感知集成方法（MAIL），通过多模态知识提升图像理解和推理能力。实验结果显示，该方法在多个数据集上显著提高了准确率。此外，研究探讨了预训练语言模型与外部知识结合的效果，发现其在推理能力上具有优势，但仍需依赖外部知识。