Lei Mao's Log Book
·
LoRA与LoRAPrune
💡
原文英文，约1200词，阅读约需5分钟。
📝
内容提要
在大型语言模型时代，由于大型语言模型的参数数量非常庞大，即使在小数据集上微调模型也会非常耗时。与微调大型语言模型类似，修剪大型语言模型也会非常耗时，因为需要评估大型语言模型中所有参数的重要性。本文介绍了如何使用低秩适应（LoRA）加速大型语言模型的微调，以及如何使用LoRAPrune修剪大型语言模型。LoRA假设在微调过程中的参数更新矩阵是低秩的，并将完整秩的参数更新矩阵分解为两个低秩矩阵。LoRA在微调过程中冻结完整秩的参数矩阵，只更新具有更少参数的两个低秩矩阵，从而显著降低了微调大型语言模型的计算成本。LoRAPrune是为了加速参数重要性评估过程而提出的，其中采用了LoRA进行神经网络修剪和微调。
🎯
关键要点
-
大型语言模型的参数数量庞大，微调和修剪模型都非常耗时。
-
低秩适应（LoRA）可以加速大型语言模型的微调，通过将完整秩的参数更新矩阵分解为两个低秩矩阵来降低计算成本。
-
在微调过程中，LoRA冻结完整秩的参数矩阵，仅更新两个低秩矩阵，从而显著减少计算开销。
-
LoRAPrune旨在加速参数重要性评估过程，结合LoRA进行神经网络的修剪和微调。
-
LoRA假设微调过程中的参数更新矩阵是低秩的，并通过特定的数学公式进行参数重要性评估。
-
在LoRAPrune中，参数重要性可以通过近似计算得到，利用梯度信息来简化计算过程。
-
在实际计算中，矩阵BA并不直接存在，需通过其他方式进行计算和缓存。
🏷️
标签
➡️
