BriefGPT - AI 论文速递 · 2024-12-17T00:00:00Z

Train More Parameters, But Mind Their Placement: Insights into Language Adaptation with PEFT

📝

内容提要

本研究探讨了小型语言模型在中等资源语言中的适应性，特别是如何有效利用语言特定知识。通过冰岛语的案例研究，提出在前馈层和瓶颈适配器中使用LoRA以增加可训练参数，从而显著提升语言适应性能，尤其在0-shot摘要任务中表现优异。

🏷️

标签

LoRA 中等资源语言 冰岛语 小型语言模型 语言适应