偏见意识低秩适应：缓解大型语言模型的灾难性继承

BriefGPT - AI 论文速递 · 2024-08-08T00:00:00Z

本研究介绍了一种通过共享低秩适应的方式来优化预训练语言模型的参数微调方法。通过在不同层级上部署ShareLoRA并调整self-attention层的组件，实现了训练参数数量和内存使用的减少。ShareLoRA在多种模型上保持了性能，并展现了迁移学习能力和减轻过拟合的效果。发现表明，ShareLoRA能够提高参数效率并保证性能。