本文提出了一种低秩自适应专家组合(MoE-LoRA)方法,旨在提升Segment Anything模型在多模态语义分割中的应用。通过训练MoE-LoRA层并保持SAM权重不变,该方法在多个基准测试中超越现有技术,尤其在缺失模态情况下表现显著提升。
本研究重新定义了多模态语义分割任务,提高了模型的可靠性。即使一个输入模态缺失,该方法仍能正常工作,适用于自动驾驶等安全关键应用领域。通过在SemanticKITTI数据集上评估和与竞争者比较,展示了该方法的有效性。同时还展示了该方法在渐进式持续学习场景中的有效性。
完成下面两步后,将自动完成登录并继续当前操作。