应对测试时自鸣镜视频中的缺失模态

通过测试时间自适应的方式，本研究提出了一种用于处理缺失模态的自监督在线解决方案，称为 MiDl（具有自我蒸馏的互信息）。通过最小化预测和可用模态之间的互信息，该方法鼓励模型对测试中存在的特定模态源不敏感。此外，我们还采用了自我蒸馏方法，以在两种模态都可用时保持模型的原始性能。MiDl 无需重新训练，在各种预训练模型和数据集上进行的实验表明，其实现了显著的性能改善。