LoRA 丢弃法作为过拟合控制的稀疏正则化器
原文中文，约400字，阅读约需1分钟。发表于：。本文提出了一种 LoRA Dropout 机制，通过向可学习的低秩矩阵引入随机噪声和增加参数稀疏性，从稀疏正则化的角度证明了 LoRA Dropout 机制的理论机制，并提供了在该框架下的泛化误差界限。理论结果表明适当的稀疏性可以帮助缩小经验风险和泛化风险之间的差距，从而控制过拟合。此外，基于 LoRA Dropout...
本文提出了一种 LoRA Dropout 机制，通过引入随机噪声和增加参数稀疏性，从稀疏正则化的角度证明了该机制的理论机制，并提供了泛化误差界限。实验证明该机制在自然语言处理任务中提高模型准确性和校准性方面有效。
