CREMA: 多模态组合视频推理的高效模块适应与融合
内容提要
该文综述多模态视频研究，利用Transformer融合视觉、音频、文本等线索，提升视频检索、分类、描述、对话、时序定位与分割性能，并探索语言嵌入联合优化、缺失模态鲁棒学习及预训练语言模型融合，在多个基准数据集上取得领先结果。
延伸解读
多模态视频推理的技术脉络
文章梳理了从2017年到2024年多模态视频推理的演进：早期侧重多模态注意力与张量融合，中期转向Transformer架构与预训练语言模型结合，近期则关注缺失模态鲁棒性和零样本迁移。这一脉络显示，研究重心从单纯融合多模态特征，逐步转向利用大规模预训练和跨模态对齐来提升泛化能力。
语言嵌入与多模态Transformer的联合优化
文章特别提到联合优化语言嵌入和多模态Transformer的最佳实践，并在视频检索任务上取得领先结果。这表明，单纯拼接多模态特征可能不够，让语言表示与视觉、音频表示在训练中相互适配，才能更充分地挖掘跨模态互补信息，对检索类任务尤为关键。
缺失模态鲁棒学习的实用价值
针对现实场景中模态缺失的问题，文章介绍了TRML框架，通过生成虚拟模态并对齐语义空间来补偿丢失信息。在CMU-MOSI、CMU-MOSEI和MELD等情感分析基准上，该方法表现出优势。这提示读者，多模态系统不能只假设所有模态齐全，鲁棒性设计是落地应用的重要一环。
从检索到分割的任务覆盖与评估
文章涵盖视频检索、分类、描述、对话、时序定位与分割等多类任务，并在HowTo100M、Charades-STA、ActivityNet Captions、A2D Sentences等数据集上验证。这种广泛覆盖说明多模态Transformer具有通用性，但不同任务对模态依赖和时序建模的要求差异较大，读者需注意具体方法在跨任务迁移时的适用边界。
Q&A
多模态视频检索中如何有效融合跨模态线索和时间信息？
本文提出了一种基于多模态Transformer架构的视频检索方法，能够充分利用视频中的跨模态线索，并融合先前的时间信息。该方法在三个数据集上取得了最新的视频检索结果。
如何将视频数据集成到预训练语言模型中用于视频对话生成？
本文研究了基于视频对话生成，提出一种方法将视频数据集成到预训练语言模型中，通过多模态推理实现各种模态之间的互补信息。实验结果表明，该模型在自动和人工评估方面显著优于现有的最先进模型。
多模态线索如何提升视频分类的准确度？
本文提出了一个混合深度学习框架，集成静态空间外观信息、短时间内的运动模式、音频信息以及长时序动态性等多个模态的线索，以捕捉它们之间的关系。实验表明，该框架可以提高视频分类的准确度。
零样本视频检索和行动定位中，如何实现模态无关的融合？
本文提出一种基于多模态、模态无关的融合Transformer方法，通过交换多个模态之间的信息并将其整合成一个联合的多模态表示，从而获得聚合多模态时态信息的嵌入，可用于零样本检索和分类。在HowTo100M数据集上训练，并在四个基准数据集上评估，取得了零样本视频检索和零样本视频行动定位的最新成果。
视频描述任务中如何选择性地关注不同模态特征？
本文提出了一种称为多模态注意力的方法，可以针对图像特征、运动特征和音频特征进行选择性关注，以促进视频描述的多模态信息融合，并在Youtube2Text数据集上取得了竞争状态-of-the-art的结果。
如何处理多模态学习中的缺失模态问题？
本文提出了一种简单而有效的框架TRML，即利用多模态基础模型进行鲁棒多模态学习，通过生成虚拟模态替代丢失模态，并对生成和丢失模态之间的语义空间进行对齐，从而捕捉缺失模态的语义。在完整模态的情况下，模型通过利用交叉模态语义空间的对齐来捕捉丢失模态的语义。实验证明该方法在三个多模态情感分析基准数据集CMU-MOSI、CMU-MOSEI和MELD上具有优势。
文本指导的视频时间定位中，如何动态融合多模态信息？
本文提出了一种基于多模态框架的文本指导视频时间定位方法，采用RGB图像、光流和深度图来提取视频的补充信息，并通过Transformers设计动态融合方案进行交互学习。在Charades-STA和ActivityNet Captions数据集上实验表明，该方法表现优越。
多模态视频分割中如何利用语言引导特征融合？
本文提出了一种多模态视频分割方法，通过语言引导的特征融合模块和多模态对齐损失函数，将视觉外观、运动信息和语言特征融合，实现了精准的文本视频分割。在A2D Sentences和J-HMDB Sentences数据集上的实验表明，该方法与现有方法相比具有更好的性能和泛化能力。
