基於多模態融合的多視角教師蒸餾方法用於少樣本動作識別
内容提要
本文综述多模态知识蒸馏研究，涵盖多个应用方向：提出蒸馏多选学习框架以应对测试时缺失模态；利用深度数据训练、仅用RGB测试进行动作识别；构建互模态与内模态蒸馏实现自监督学习；采用图蒸馏处理数据有限的动作检测；MA-CLIP利用轻量适配器进行少样本动作识别；多模型蒸馏在减少输入视角下保持性能；多模态少样本目标检测结合元学习与提示学习；CMD框架学习自监督三维动作表示；DistilMVC用于多视图聚类；多视图增强蒸馏用于实体链接。
延伸解读
多模态蒸馏的核心思路：用训练时的丰富信息弥补测试时的不足
文章列举的多项工作都围绕一个共同问题：训练时有多模态数据（如RGB+深度），但测试时可能只有部分模态可用。蒸馏的作用是把多模态教师网络学到的知识迁移到单模态或缺失模态的学生网络，从而在输入受限时仍保持性能。例如2018年的方法用深度数据训练、仅用RGB测试；2023年的多模型蒸馏框架在减少输入视角时仍展示更高性能。这提示读者，多模态蒸馏的价值不仅在于压缩模型，更在于提升对模态缺失的鲁棒性。
少样本场景下的蒸馏：适配器与元学习降低对标注的依赖
针对少样本动作识别，MA-CLIP通过添加轻量级适配器让CLIP适应任务，避免全参数调优和时间建模的负担；少样本目标检测则结合元学习与提示学习，无需微调即可构建通用检测模型，并用知识蒸馏补充稀有类别的先验知识。这些方法表明，在标注数据有限时，蒸馏可以作为一种知识注入手段，帮助模型利用预训练模型或语义信息，而不是从头学习。读者可关注适配器设计和提示学习在少样本条件下的实际效果。
自监督与跨模态交互：蒸馏用于表示学习的新趋势
文章提到互模态与内模态蒸馏框架实现自监督学习，以及CMD框架通过邻域相似性分布建模各模态知识，并用非对称配置稳定蒸馏过程。这些工作把蒸馏从传统的输出层模仿扩展到表示层面的交互，强调在无标签数据上利用模态间的互补信息。对于关注自监督三维动作表示或多模态预训练的读者，这类方法提供了如何设计蒸馏信号和稳定训练的思路，但需注意其实验多在特定数据集上验证，泛化性仍需进一步观察。
Q&A
多模态动作识别中测试时缺失模态的问题怎么解决？
本文提出基于多模态数据的 Distillation Multiple Choice Learning 框架，通过不同模态网络之间的协作学习来解决测试时缺失模态的问题，实现了显著高于单独训练的准确率，并在视频动作识别领域取得了最新成果。
如何仅用RGB数据在测试时进行动作识别？
本研究提出一种多模态视频动作识别方法，利用RGB数据以外的深度数据进行训练，在测试时仅利用RGB数据进行分类，通过精简网络进行深度特征提取，实验得到了目前最佳的分类结果。
自监督学习中的互模态和内模态蒸馏框架是什么？
介绍了一种新的互模态和内模态的相互蒸馏框架，通过改进跨模态交互和解决相似样本干扰问题，实现了自监督学习，在三个数据集上取得了新的记录。
数据有限且模态部分缺失时如何进行动作检测？
本研究提出一种称为图蒸馏的方法，在多模态视频中处理行动检测，其中仅有有限的训练数据和部分观察到的模态可用，通过在源域中的大规模多模态数据集中使用丰富的特权信息来提高目标域的学习效果，从而克服训练和测试之间的模态差异，并在NTU RGB+D和PKU-MMD基准测试中明显优于现有技术。
MA-CLIP如何实现少样本动作识别？
本文提出了一种名为MA-CLIP的新方法，旨在通过添加轻量级适配器来适应CLIP进行少样本动作识别，从而解决传统方法中的参数调优和时间建模的问题。
如何减少输入视角数量同时保持多模态性能？
本文研究了如何在仅使用RGB帧作为输入的情况下，保持多模态方法的性能表现，进而采用多模型知识蒸馏框架来处理这个问题，并在输入视角数量减少的情况下展示了更高的性能。
少样本目标检测中如何利用多模态信息？
本文介绍了一种基于多模态少样本学习的目标检测方法，使用视觉样本和分类语义信息来检测目标，通过元学习和提示学习相结合，在不需要微调的情况下建立通用少/零样本检测模型，同时引入知识蒸馏来解决针对稀有类别缺乏类名称先验知识的问题，通过在多个少样本数据集上的实验来验证该方法的有效性。
CMD框架如何学习自监督三维动作表示？
本文提出了一种新的跨模态交互知识蒸馏框架Cross-modal Mutual Distillation (CMD)来学习自监督的三维动作表示，该框架中引入邻域相似性分布来建模每种模态中学到的知识，并使用非对称配置来稳定蒸馏过程和在模态之间传输高置信度的信息，该方法在多个数据集上均进行了大量实验，超出了现有的自监督方法并创造了一系列新记录。
DistilMVC如何提升多视图聚类性能？
本文提出了一种新型的多阶段深度多视图聚类框架，引入多视图自我蒸馏（DistilMVC）来提取标签分布的暗知识，从而消除过度自信的伪标签的影响，提高模型的泛化能力，并通过对比学习来探索多个视图的常见语义，通过最大化视图之间的互信息来获得伪标签，同时通过教师网络将伪标签蒸馏为暗知识，提升学生网络的预测能力，实验结果表明，与现有方法相比，我们的方法在真实多视图数据集上具有更好的聚类性能。
多视图增强蒸馏如何用于实体链接？
本篇论文提出了一种多视图增强蒸馏框架，通过跨编解码器到对编解码器的多精细和提及相关部分的知识传输，从而有效地学习与不同提及相匹配的实体表示，实验表明该方法在几个实体链接基准上实现了最优性能。
