LoRA 丢弃法作为过拟合控制的稀疏正则化器

BriefGPT - AI 论文速递 ·

本文提出了一种 LoRA Dropout 机制，通过引入随机噪声和增加参数稀疏性，从稀疏正则化的角度证明了该机制的理论机制，并提供了泛化误差界限。实验证明该机制在自然语言处理任务中提高模型准确性和校准性方面有效。

LoRA Dropout lora 参数稀疏性正则泛化误差界限稀疏正则化随机噪声

原文中文，约400字，阅读约需1分钟。