LoRA 丢弃法作为过拟合控制的稀疏正则化器
内容提要
本文探讨了多种改进的低秩适应方法，如HiddenKey、PLoRA和LoRA-drop，旨在提升Transformer模型的参数效率和学习能力。研究表明，这些方法在自然语言处理任务中表现优异，尤其在有限训练条件下显著提高了模型性能和稳定性，同时降低了通信成本。
延伸解读
LoRA 变体的核心改进方向
文章回顾了多种 LoRA 改进方法，它们主要从三个方向提升性能：一是优化更新矩阵的秩，如 PLoRA 通过周期性积累低秩更新提高有效秩；二是动态分配参数，如 IncreLoRA 和 AB-LoRA 根据模块重要性自适应调整可训练参数；三是改进训练稳定性与校准性，如 DoRA 和 Laplace-LoRA。这些方法在有限训练条件下展现出优势，但侧重点不同，读者可根据任务需求选择。
参数效率与性能的权衡
在参数高效微调中，减少可训练参数往往以牺牲性能为代价。文章中的方法试图打破这一权衡：PLoRA 在不增加内存的情况下将学习能力提升至 LoRA 的 1.8 倍；LoRA-drop 通过层间参数共享降低参数量；FFA-LoRA 在联邦学习中减半通信成本。这些结果表明，通过更精细的参数分配策略，可以在保持低资源消耗的同时获得更好性能。
联邦学习场景下的特殊考量
FFA-LoRA 针对隐私保护联邦学习设计，通过固定非零矩阵、仅微调零矩阵，缓解了数据异构性和差分隐私噪声放大问题，同时将通信成本减半。这提示在分布式训练中，LoRA 的改进需额外考虑通信效率与隐私保护的平衡，而不仅是单机性能。
方法选择与未来方向
文章汇总的多种方法各有适用场景：HiddenKey 在通用 NLP 任务中表现突出，PLoRA 适合需要高秩更新的任务，IncreLoRA 和 AB-LoRA 擅长动态资源分配，DoRA 和 Laplace-LoRA 则关注训练稳定性和校准性。未来研究可能进一步融合这些优势，或探索更自动化的参数分配机制。
Q&A
LoRA-drop 方法的主要优点是什么？
LoRA-drop 方法对重要层保留原有参数，其他层共享同一组参数，实验证明其在自然语言理解和生成任务中的有效性。
HiddenKey 方法与传统 Dropout 方法有什么区别？
HiddenKey 方法是基于对 Transformer 的 Dropout 方法的重新审视，提出了一个统一框架，显示出在有限可训练参数下的新偏好和性能比较。
PLoRA 方法如何提高学习能力？
PLoRA 方法通过多次积累低秩更新矩阵来提高更新秩，实验表明其学习能力可达 LoRA 的 1.8 倍，且不增加内存使用。
IncreLoRA 方法的创新点是什么？
IncreLoRA 方法根据模块重要性自适应添加可训练参数，显著提高参数效率，优于基准方法。
FFA-LoRA 方法在隐私保护联邦学习中的作用是什么？
FFA-LoRA 方法通过固定非零矩阵并仅微调零矩阵，缓解数据异构性和超参数敏感性，将通信成本减半，并展现一致性能和计算效率。
DoRA 方法如何增强模型的学习能力？
DoRA 方法通过权重分解分析和聚焦更新，增强了学习能力和训练稳定性，超越了 LoRA 方法在多种下游任务中的表现。
