本文提出了一种低秩自适应专家组合（MoE-LoRA）方法，旨在提升Segment Anything模型在多模态语义分割中的应用。通过训练MoE-LoRA层并保持SAM权重不变，该方法在多个基准测试中超越现有技术，尤其在缺失模态情况下表现显著提升。

本文综述跨模态知识迁移研究，提出无需配对数据即可将教师模型知识传给学生模型的跨模态知识普适方法，并涵盖多模态语义分割、伪标签融合、扩散模型跨模态翻译、无配对跨模态生成、多模态机器翻译、RGB-TIR蒸馏跟踪、源任务选择及模态缺失RGBT跟踪等进展。

本研究重新定义了多模态语义分割任务，提高了模型的可靠性。即使一个输入模态缺失，该方法仍能正常工作，适用于自动驾驶等安全关键应用领域。通过在SemanticKITTI数据集上评估和与竞争者比较，展示了该方法的有效性。同时还展示了该方法在渐进式持续学习场景中的有效性。