朝着更具包容性的人工智能：针对萨米语的大型语言模型训练的进展与展望
内容提要
本文介绍了大型语言模型（LLMs）在机器翻译中的进展，重点提高多语言场景下的口语理解准确率。研究涉及词汇扩展、优化偏好及低资源语言的数据问题，实验涵盖9种语言，结果显示新模型优于先前基准。此外，提出了针对东南亚语言的SeaLLMs系列，表现超越ChatGPT-3.5。研究还探讨了预训练语言模型的适应与调整，以及在欠资源语言中的应用。
延伸解读
低资源语言适配的三种策略
文章提出三种策略以增强低资源语言在大型语言模型中的表现：扩展词汇表、使用双语数据进行预训练以对齐高资源语言和低资源语言、构建高质量的小规模指令数据集并进行指令微调。这些策略针对低资源语言数据匮乏的核心问题，通过词汇扩展和跨语言对齐来提升模型性能。
SeaLLMs在非拉丁语言上的优势
SeaLLMs系列在Llama-2基础上通过扩展词汇量、专门的指令和对齐调整，专注于东南亚语言。评估显示，SeaLLM-13b在泰语、高棉语、老挝语和缅甸语等非拉丁语言上明显优于ChatGPT-3.5，同时在轻便且经济高效的操作中仍表现出色，为解决区域语言偏差提供了可行方案。
评估指标的局限性
文章指出，在欠资源语言中，大型语言模型可通过数据到文本生成弥补性能差距，但人工评估表明BLEU分数相比英语有所下降，对于评估非任务特定系统其适用性存疑。这提醒研究者在低资源语言评估中需谨慎对待自动指标，结合人工判断。
Q&A
大型语言模型如何提升多语言场景下的口语理解准确率？
大型语言模型通过扩展词汇、优化偏好和解决低资源语言的数据问题来提升口语理解准确率。
SeaLLMs系列模型的优势是什么？
SeaLLMs系列模型在非拉丁语言如泰语和高棉语方面的表现超越了ChatGPT-3.5，尤其在多种语言任务中展现出卓越性能。
针对低资源语言的研究提出了哪些策略？
研究提出了三种策略：扩展词汇表、使用双语数据进行预训练、构建高质量的小规模指令数据集并进行指令微调。
预训练语言模型的适应与调整有哪些新进展？
新进展包括对大型语言模型的预训练、适应和调整，以及利用和容量评估等方面的研究。
如何评估大型语言模型在欠资源语言中的表现？
通过数据到文本生成的方法进行评估，但人工评估显示BLEU分数相比于英语有所下降，适用性存疑。
该研究覆盖了多少种语言？
研究覆盖了9种语言，涉及多种语言的实验和比较。
