具备10亿参数的低资源语言生成模型
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对现有的大型语言模型在低资源语言上的局限性，提出了一种新方法开发适用于斯洛文尼亚语的生成模型GaMS 1B。通过对英语OPT模型的持续预训练和新的分词器的开发，研究表明GaMS在句子简化任务上表现出色，与GPT-3.5-Turbo模型相媲美，显示了其潜在的应用价值。
本研究提出了GaMS 1B模型，针对大型语言模型在低资源语言如斯洛文尼亚语上的局限性。通过对英语OPT模型的持续预训练和开发新分词器，GaMS在句子简化任务中表现优异，与GPT-3.5-Turbo相当，显示出应用潜力。
