雇佣一位语言学家！：通过上下文语言描述学习濒危语言
内容提要
该文综述大型语言模型在多语言与低资源语言处理中的应用，涵盖数据到文本生成、多语言语义解析、机器翻译及濒危语言词汇资源构建。研究表明，LLM在低资源场景优于传统方法，但评估指标适用性存疑；模型对未见语言表现有限，句法相似性并非决定因素，零样本在专业领域可媲美微调模型。
延伸解读
评估指标在低资源语言中的适用性
文章指出，在低资源语言的数据到文本生成任务中，大型语言模型虽能弥补性能差距，但人工评估显示BLEU分数相比英语有所下降。这表明BLEU等自动指标在评估非任务特定系统时可能不适用，读者需谨慎解读此类指标，并考虑结合人工评估。
模型对未见语言的表现局限
基于Llama2的实验显示，7B模型对训练中见过的语言BLEU分数超过10，但对未见过的语言则不一定。语言距离分析表明，句法相似性并非决定翻译质量的主要因素。这提示多语言模型在零样本跨语言迁移时，对未见语言的支持有限，且不能简单依赖语言相似性。
零样本模型在专业领域的潜力
在电信领域的评估中，Llama-2、Falcon、Mistral和Zephyr等大型语言模型在零样本设置下，性能可与最先进的微调模型相当。这突显了大型语言模型作为领域知识资源的潜力，尤其在标注数据稀缺的专业领域，可减少对微调的依赖。
濒危语言词汇资源构建方法
针对濒危语言，文章探讨了利用公共词网和机器翻译器构建双语词典和多语言词库的方法。这为资源匮乏语言提供了基础资源建设途径，但需注意机器翻译质量可能影响词典准确性，且该方法依赖现有词网覆盖。
Q&A
大型语言模型在低资源语言的数据到文本生成中表现如何？
大型语言模型可以在研究欠资源语言中通过数据到文本生成来弥补性能差距，但人工评估表明 BLEU 分数相比于英语有所下降，对于评估非任务特定系统其适用性存疑。
如何利用大型语言模型进行多语言语义解析？
使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译-训练方法进行比较，表明使用 LLM 更有效。
针对严重低资源语言，如何提高机器翻译质量？
针对严重低资源语言，使用两种方法以尽可能高的质量翻译跨语言已知的有限文本，结果表明，首先将大型预训练的多语言模型适应到有限的文本领域/语言，然后再针对严重低资源语言进行调整表现最好。选择最佳的种子句也可以进一步提高翻译质量，同时将种子句数量降至约 1000 句。
大型语言模型在多语言机器翻译中有哪些优势和挑战？
本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。
如何为濒危语言构建词汇资源？
本文旨在探讨为濒危语言生成词汇资源的方法，通过使用公共词网和机器翻译器构建双语词典和多语言词库，奠定了一个基础，尤其适用于缺乏资源的语言。
Llama2 在机器翻译中对未见语言的表现如何？
基于大型语言模型（LLMs），本研究评估了 Llama2 在机器翻译方面的能力，并探讨了对训练数据中语言的依赖性。实验证明，7B 规模的 Llama2 模型对其已见过的所有语言都具有 10 BLEU 分数以上，但对未见过的语言不一定如此。我们的语言距离分析表明，句法相似性并非决定翻译质量的主要语言因素。有趣的是，我们发现在特定条件下，某些语言虽然训练数据明显少于英语，却与英语具有可比较的强相关性。
大型语言模型在电信领域的零样本性能如何？
在自然语言处理领域中，本研究通过对四个知名的大型语言模型（Llama-2，Falcon，Mistral 和 Zephyr）进行全面的零样本评估，与最先进的微调模型进行性能比较，评估了大型语言模型在电信领域内的知识和理解能力，并发现零样本的大型语言模型能够在这一领域内达到与当前最先进微调模型相当的性能水平，突显了大型语言模型作为理解这一领域不足的各个方面的有价值资源的潜力。
