【Transformer 与注意力机制】31｜微调演进：从全参数到 LoRA
内容提要
LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求，仅更新少量参数，接近全参数微调效果。QLoRA 通过量化技术进一步提升了在单卡上微调大模型的能力。LoRA 在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。
关键要点
-
LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求。
-
QLoRA通过量化技术进一步提升了在单卡上微调大模型的能力。
-
LoRA在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。
-
PEFT（参数高效微调）旨在显存友好、存储友好、部署友好且效果不差。
-
LoRA的核心思想是微调过程中权重的变化是低秩的，允许在低秩空间内进行训练。
-
QLoRA通过将基础模型量化为4-bit，显著降低了显存需求，使得在单张显卡上微调65B模型成为可能。
-
DoRA（方向与幅值分离）是LoRA的改进，分别拟合权重的幅值和方向，提升了在复杂任务上的表现。
-
LoRA在指令微调、风格迁移和领域适配等场景中表现良好，但在注入大量新知识和复杂能力学习时效果较差。
延伸解读
LoRA的优势与局限
LoRA（低秩适应）在微调过程中通过低秩分解显著减少了参数量，适合指令微调和风格迁移等任务。然而，在需要注入大量新知识的场景中，LoRA的表现可能不如全参数微调。因此，选择微调方法时需考虑具体任务的需求。
QLoRA的技术突破
QLoRA通过将基础模型量化为4-bit，显著降低了显存需求，使得在单卡上微调65B模型成为可能。这一技术突破使得大规模模型的微调变得更加可行，尤其是在资源有限的情况下。
DoRA的改进与应用
DoRA（方向与幅值分离）是对LoRA的进一步优化，通过分别拟合权重的幅值和方向，提升了在复杂任务上的表现。虽然在LoRA已经足够的场景中收益有限，但在需要更大改动的任务中，DoRA可能会提供更好的效果。
延伸问答
LoRA是什么，它的主要优点是什么？
LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求，主要优点是只更新少量参数，接近全参数微调效果。
QLoRA如何提升大模型的微调能力？
QLoRA通过将基础模型量化为4-bit，显著降低了显存需求，使得在单张显卡上微调65B模型成为可能。
LoRA在什么任务中表现优异？
LoRA在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。
LoRA与全参数微调相比有哪些局限性？
LoRA在注入大量新知识和复杂能力学习时效果较差，通常在这些场景中不如全参数微调。
DoRA是什么，它如何改进LoRA？
DoRA（方向与幅值分离）是LoRA的改进，分别拟合权重的幅值和方向，提升了在复杂任务上的表现。
LoRA的核心思想是什么？
LoRA的核心思想是微调过程中权重的变化是低秩的，允许在低秩空间内进行训练。
