LLaVA-MoLE：稀疏的 LoRA 专家混合模型用于缓解指令微调 MLLMs 中的数据冲突
内容提要
该文综述了基于LoRA与混合专家（MoE）的大模型参数高效微调方法，包括MoE-LLaVA、MultiLoRA、LoRAMoE、SiRA、MOELoRA、COLA等，通过稀疏激活、专家平衡与梯度投影，提升多任务与多模态性能，缓解知识遗忘，降低微调成本。
延伸解读
数据冲突的根源与缓解思路
文章指出，在多模态指令微调中，不同任务或模态的数据可能相互冲突，导致性能下降。LLaVA-MoLE通过引入稀疏的LoRA专家混合模型，让不同专家处理不同数据，从而缓解冲突。类似地，LoRAMoE利用局部平衡约束来均衡任务利用，避免知识遗忘。这些方法的核心在于通过专家分工减少任务间的干扰，为多任务学习提供了一种参数高效的解决方案。
参数高效微调的技术演进
从LoRA到多种MoE变体，参数高效微调技术不断演进。MultiLoRA通过水平扩展LoRA模块和改变初始化，减少对顶层奇异向量的依赖，仅增加2.5%参数即提升多任务适应性。SiRA利用稀疏计算和专家放弃技术，在单任务和多任务设置中优于LoRA。COLA则通过梯度投影和链式LoRA模块，弥合了LoRA与全参数微调之间的差距。这些方法共同推动了微调效率与性能的平衡。
多模态与领域应用的扩展
MoE-LLaVA将稀疏专家混合应用于大型视觉语言模型，在部署时仅激活前k个专家，保持恒定计算成本，并在视觉理解基准上超越LLaVA-1.5-13B。MOELoRA则针对医疗多任务场景，利用多个专家生成不同参数，解决任务多样性和微调成本高的问题。这些案例表明，LoRA与MoE的结合不仅能处理通用多模态任务，还能适应特定领域需求，提升模型的专业化能力。
Q&A
LLaVA-MoLE 是什么？它主要解决什么问题？
LLaVA-MoLE 是一种稀疏的 LoRA 专家混合模型，用于缓解指令微调多模态大语言模型（MLLMs）中的数据冲突。它通过结合 LoRA 和混合专家（MoE）技术，在微调过程中减少不同任务或数据之间的干扰，提升多任务性能。
LoRA-MoE 解码器在多模态任务中有什么效果？
LoRA-MoE 解码器在多种二维和三维下游任务中表现出有效性和多样性，性能提升约 20%。它通过稀疏激活专家，在保持计算成本恒定的同时，处理多模态学习中的性能退化问题。
MoE-LLaVA 是如何工作的？它有什么优势？
MoE-LLaVA 是一种基于 MoE 的稀疏 LVLM 架构，在部署时仅激活前 k 个专家，其余专家保持非活跃状态，从而在恒定计算成本下构建大参数量模型。它在视觉理解方面表现出色，在对象幻象基准测试中超越了 LLaVA-1.5-13B，并在多种视觉理解数据集上媲美 LLaVA-1.5-7B。
MultiLoRA 如何改进多任务适应性？
MultiLoRA 通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化，减少了 LoRA 中顶层奇异向量的主导性，产生更平衡的单元子空间，从而提升多任务适应性。它在多个基准和模型规模上优于单个 LoRA 和全微调，仅需额外 2.5% 的参数。
LoRAMoE 如何防止知识遗忘？
LoRAMoE 是一种插件形式的专家混合模型，通过冻结骨干模型保证世界知识的完整性，并利用局部平衡约束均衡任务利用。实验证明，即使加大指导数据规模，它也能在推理中合理协调专家，避免知识遗忘，同时提升下游任务性能。
COLA 框架是如何弥合 LoRA 和全参数微调之间的差距的？
COLA 通过梯度投影方法，将学习的链式 LoRA 模块与预训练语言模型参数融合，并为新生成的 LoRA 模块重新初始化优化过程，从而在无需额外计算和内存成本的情况下，弥合 LoRA 和完全参数微调之间的差距。
