【Transformer 与注意力机制】31｜微调演进：从全参数到 LoRA
💡
原文中文，约23700字，阅读约需57分钟。
📝
内容提要
LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求，仅更新少量参数，接近全参数微调效果。QLoRA 通过量化技术进一步提升了在单卡上微调大模型的能力。LoRA 在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。
🎯
关键要点
- LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求。
- QLoRA通过量化技术进一步提升了在单卡上微调大模型的能力。
- LoRA在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。
- PEFT（参数高效微调）旨在显存友好、存储友好、部署友好且效果不差。
- LoRA的核心思想是微调过程中权重的变化是低秩的，允许在低秩空间内进行训练。
- QLoRA通过将基础模型量化为4-bit，显著降低了显存需求，使得在单张显卡上微调65B模型成为可能。
- DoRA（方向与幅值分离）是LoRA的改进，分别拟合权重的幅值和方向，提升了在复杂任务上的表现。
- LoRA在指令微调、风格迁移和领域适配等场景中表现良好，但在注入大量新知识和复杂能力学习时效果较差。
❓
延伸问答
LoRA是什么，它的主要优点是什么？
LoRA（低秩适应）是一种高效的微调方法，通过低秩分解减少大模型微调时的参数量和存储需求，主要优点是只更新少量参数，接近全参数微调效果。
QLoRA如何提升大模型的微调能力？
QLoRA通过将基础模型量化为4-bit，显著降低了显存需求，使得在单张显卡上微调65B模型成为可能。
LoRA在什么任务中表现优异？
LoRA在指令微调和风格迁移等任务中表现优异，但在需要大量新知识的场景中可能不如全参数微调。
LoRA与全参数微调相比有哪些局限性？
LoRA在注入大量新知识和复杂能力学习时效果较差，通常在这些场景中不如全参数微调。
DoRA是什么，它如何改进LoRA？
DoRA（方向与幅值分离）是LoRA的改进，分别拟合权重的幅值和方向，提升了在复杂任务上的表现。
LoRA的核心思想是什么？
LoRA的核心思想是微调过程中权重的变化是低秩的，允许在低秩空间内进行训练。
➡️
