偏见意识低秩适应：缓解大型语言模型的灾难性继承
原文中文，约400字，阅读约需1分钟。发表于：。该研究针对大型语言模型在下游应用中面临的偏见传播问题，提出了一种新的参数高效微调方法BA-LoRA。通过引入一致性、可多样性和奇异向量分解的正则化项，BA-LoRA在多种自然语言理解和生成任务中表现优于现有的LoRA及其先进变体，有效减轻了预训练数据带来的偏见影响。
本研究介绍了一种通过共享低秩适应的方式来优化预训练语言模型的参数微调方法。通过在不同层级上部署ShareLoRA并调整self-attention层的组件，实现了训练参数数量和内存使用的减少。ShareLoRA在多种模型上保持了性能，并展现了迁移学习能力和减轻过拟合的效果。发现表明，ShareLoRA能够提高参数效率并保证性能。
