本研究探讨小型语言模型在中等资源语言（以冰岛语为例）的适应性问题，提出利用无结构文本语料库的方法。通过在前馈层和瓶颈适配器中应用LoRA，增加可训练参数显著提升了语言适应性能，尤其在0-shot摘要任务中表现突出。

本文研究了语言转移下更新语言模型的利与弊。通过添加挪威语和冰岛语等数据到英语语言模型中，研究了模型规模和学习率计划者的影响。发现前向传递对语言顺序无关，后向传递则取决于新语言的顺序和特点。探索了语言相似性度量，发现句法相似性与结果相关性最好。