DLoRA：大型语言模型的分布式参数高效微调解决方案
内容提要
本研究探讨了参数高效微调（PEFT）方法在语言任务中的应用，提出了SLoRA和MELoRA等新方法，显著提升了模型性能和训练效率。这些方法在临床预测和推理任务中表现优异，展示了在低资源条件下的有效性和经济性。
延伸解读
PEFT 方法在低资源场景下的优势
文章指出，参数高效微调（PEFT）方法如 SLoRA 和 MELoRA 能在低资源条件下显著提升训练效率。SLoRA 以约 1% 的密度实现稀疏更新，并将训练时间减少高达 90%，同时保持与全面微调可比的性能。MELoRA 则用更少的可训练参数（比 LoRA 少 8 至 36 倍）在自然语言理解和指令跟随任务上表现更优。这些结果说明，PEFT 方法在计算资源有限时具有明显的经济性和有效性。
临床与推理任务中的性能提升
在临床预测任务中，结合 Downstream LLaMA-LoRA 的方法在多个任务上取得了最先进的 AUROC 得分，并在大规模多标签分类中观察到 6-9% 的 AUROC 改善。在推理任务方面，MoELoRA 在数学和常识推理基准上显著优于 LoRA 和 GPT-3.5；另一种结合主动学习的方法也在三个复杂推理任务上超越了现有基线。这些结果表明，PEFT 方法在专业领域和复杂推理中具有实际应用潜力。
方法创新与参数效率的平衡
文章介绍了多种创新方法：Context-PEFT 根据令牌领域学习不同适配器参数组，无需架构修改即可实现类似 LoRA 的权重注入；DoRA 通过权重分解和聚焦更新增强了学习能力和训练稳定性；IncreLoRA 则根据模块重要性自适应添加可训练参数。这些方法在保持参数效率的同时，试图解决 LoRA 的局限性，并在多模态、多任务迁移学习等场景中展示了与完全微调相当的性能。
Q&A
什么是参数高效微调（PEFT）方法？
参数高效微调（PEFT）方法是一种通过选择性微调部分参数来降低计算需求，从而提高模型在语言任务中的性能和效率的技术。
SLoRA方法如何提升模型性能？
SLoRA方法通过数据驱动初始化技术克服LoRA的限制，实现与全面微调可比的性能，并以约1%的密度实现显著稀疏更新，训练时间减少高达90%。
MELoRA方法的优势是什么？
MELoRA方法采用较少的可训练参数但保持高秩，在自然语言理解和指令跟随任务上表现优于LoRA，证明了其在参数效率上的有效性。
Context-PEFT方法的主要特点是什么？
Context-PEFT方法根据令牌的领域学习不同的适配器参数组，实现类似LoRA的权重注入，无需额外架构修改，提供了高效的参数利用。
DoRA方法如何增强学习能力？
DoRA方法通过聚焦更新来增强学习能力和训练稳定性，超越了LoRA方法在多种下游任务中的表现。
IncreLoRA方法的工作原理是什么？
IncreLoRA方法通过根据模块重要性得分自适应添加可训练参数，以应对有限训练条件下的参数剪枝限制，实现更高的参数效率。
