MerA:合并预训练适配器进行弱监督学习

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

通过模型融合,将预训练适配器高效地整合到单一模型,以提高适配器调优的性能。MerA方法在两个预训练语言模型上实现了显著的性能提升,并通过引入“同路径”设置进一步增加了模型的容量,超越全微调和适配器调优的表现。

🏷️

标签

➡️

继续阅读