本研究探讨小型语言模型在中等资源语言(以冰岛语为例)的适应性问题,提出利用无结构文本语料库的方法。通过在前馈层和瓶颈适配器中应用LoRA,增加可训练参数显著提升了语言适应性能,尤其在0-shot摘要任务中表现突出。
完成下面两步后,将自动完成登录并继续当前操作。