更高层次需要更多的 LoRA 专家
内容提要
本文综述了混合专家（MoE）与LoRA结合的多项参数高效微调研究，包括医疗多任务MOELoRA、多模态MLLM的LoRA专家路由、张量分解MoE、LaRA-MoE、Omni-SMoLA、MoE-LLaVA、IncreLoRA及PRILoRA等，旨在解决任务多样性、参数膨胀与数据冲突问题，提升性能与效率。
延伸解读
MoE与LoRA结合的核心动机
文章指出，将混合专家（MoE）与LoRA结合，主要是为了解决多任务场景下的任务多样性、参数膨胀与数据冲突问题。例如，MOELoRA利用多个专家作为可训练参数，为不同医疗任务生成不同参数，从而降低微调成本；多模态MLLM则通过路由函数将每个令牌路由到最佳LoRA专家，以缓解多领域数据冲突。这些案例表明，该方向旨在平衡参数效率与任务特异性。
不同研究的侧重点与效果
综述涵盖的研究各有侧重：张量分解MoE通过共享参数矩阵中心张量并引入辅助张量来增加专家特异性，以应对参数膨胀；LaRA-MoE在多模态下游任务中提升约20%，但也指出更多模态可能带来负面冲突；Omni-SMoLA结合Soft MoE提升大规模多模态模型性能；MoE-LLaVA在部署时仅激活前k个专家，在视觉理解上表现优异。这些差异反映了该领域在效率与性能间的不同权衡。
参数效率与性能的权衡
文章提到，IncreLoRA通过根据模块重要性得分自适应添加可训练参数，在低资源设置下显著优于基准；PRILoRA则通过为每层分配不同秩并剪枝，在GLUE基准上取得最新成果。此外，自回归MoE语言模型在相同预算下比密集模型更高效，但泛化效果不同。这些工作表明，动态参数分配和稀疏激活是提升参数效率的关键，但可能引入任务泛化上的新挑战。
Q&A
MOELoRA 是什么？它解决了医疗场景中的哪些问题？
MOELoRA 是一种用于多任务医疗应用的参数高效微调框架，通过统一 MoE 和 LoRA，利用多个专家作为可训练参数，为不同任务生成不同参数，解决了医疗场景中任务多样性和微调成本高昂的问题。实验证明其优于现有参数高效微调方法。
在多模态大语言模型中，如何通过 LoRA 专家解决多领域数据冲突？
通过创建一组 MLP 层的 LoRA 专家，并使用路由函数将每个令牌路由到最佳专家，以适应来自不同领域的令牌的自适应选择，从而解决多领域指导数据的数据冲突问题，并在混合数据集上获得持续的性能提升。
张量分解 MoE 是如何解决混合专家架构中的参数膨胀问题的？
张量分解 MoE 通过在专家层中共享参数矩阵中心张量的信息，并通过辅助张量增加各个专家的特异性，利用矩阵乘积算子实现受量子多体物理学影响的张量分解，从而解决参数膨胀问题，实验表明新方法具有更好的性能和效率。
LaRA-MoE 框架在多模态学习中有哪些优势？
LaRA-MoE 是一个新颖且可扩展的框架，通过大型语言模型在多模态学习方面的综合研究和实验，展示了在各种二维和三维下游任务中设计的 LoRA-MoE 解码器的有效性和多样性（提升约 20%），但也指出更多其他模态和任务的导入可能引起负面冲突和干扰。
MoE-LLaVA 是什么？它在视觉理解方面表现如何？
MoE-LLaVA 是一种基于 MoE 的稀疏 LVLM 架构，通过构建具有巨大数量参数但恒定计算成本的稀疏模型，解决多模态学习和模型稀疏性带来的性能退化问题。部署时仅激活前 k 个专家，其余非活跃。实验证明其在视觉理解方面出色，在对象幻象基准测试中超越 LLaVA-1.5-13B，在各种视觉理解数据集上表现可与 LLaVA-1.5-7B 相媲美。
IncreLoRA 如何实现更高的参数效率？
IncreLoRA 提出了一种增量参数分配方法，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。
PRILoRA 的核心思想是什么？它在哪些基准测试中取得了成果？
PRILoRA 通过在线性分配不同的秩给每一层并在训练过程中进行剪枝，考虑到权重的临时大小和给定层的输入的累积统计信息，验证了其在八个 GLUE 基准测试中的有效性，取得了最新的技术成果。
