处理缺失模态的模态不变多模态学习：单分支方法
内容提要
本文探讨了多模态学习中的缺失模态问题，提出了高模态模型HighMMT和模态蒸馏框架等新方法，以提高鲁棒性和性能。研究表明，这些方法在处理模态缺失时表现优异，能够在多个基准数据集上取得先进成果。
延伸解读
缺失模态问题的研究脉络
文章按时间顺序梳理了2022年至2024年缺失模态多模态学习的重要进展，从信息理论度量、缺失模态想象网络，到基于提示学习、特征投影、引导网络、一阶段模态蒸馏、诊断与再学习等方法，展现了该领域从理论量化到实际应用的快速演进。读者可借此把握技术发展的关键节点与趋势。
方法多样性与核心思路
针对缺失模态，研究者提出了多种解决方案：利用不变特征进行模态想象、通过提示学习以极少参数适应缺失、基于特征投影泛化到未见模态、借助引导网络共享知识、以及一阶段蒸馏统一优化等。这些方法从不同角度提升鲁棒性，反映了问题解决的多元路径。
性能表现与评估基准
文章指出，所提方法在多个基准数据集上取得了先进成果，例如HighMMT表现出缩放行为，一阶段模态蒸馏框架在RGB-D分类和分割任务上达到最先进性能，Uni-Modal Ensemble在音频-视觉和视觉-语言数据集上有效。这些结果验证了方法在缺失模态场景下的有效性和鲁棒性。
实际应用与资源考量
部分方法注重实际部署，如基于提示学习的框架仅需少于1%的可学习参数，引导网络训练的单模式模型推理成本与传统模型相同，且暴力检测实验证明其性能更优。这些工作平衡了性能与计算资源，为资源受限场景提供了可行方案。
Q&A
什么是高模态模型HighMMT，它的优势是什么？
高模态模型HighMMT是一种可扩展的多模态学习模型，其性能优于以前的方法，并表现出重要的缩放行为。
如何解决多模态学习中的模态缺失问题？
可以通过使用prompt learning的多模态学习框架和缺失模态想象网络来解决模态缺失问题，这些方法提高了鲁棒性和性能。
模态蒸馏框架的作用是什么？
模态蒸馏框架通过多任务学习统一优化过程，帮助捕捉有价值的表征，从而提高模型的推断能力。
本文提出的诊断与再学习方法有什么意义？
该方法有效平衡和增强多模态学习，考虑模态能力的内在限制，确保对所有模态的均衡处理。
如何提高多模态学习的鲁棒性？
通过引入Uni-Modal Ensemble with Missing Modality Adaptation技术，可以增强噪声鲁棒性，适用于广泛的模态。
多模态学习中异构性的量化方法是什么？
本文提出了两种信息理论的度量方法，用于量化多模态学习中的异构性。
