近期大型语言模型对低资源语言的表现
内容提要
近期研究显示，大型语言模型（LLM）在非洲语言上的表现普遍较差。我们评估了mT0、LLaMa 2和GPT-4在30种非洲语言上的五个任务，发现GPT-4在分类任务中表现较好，但在生成任务如机器翻译上效果不佳。mT0在跨语言问答中表现最佳，呼吁加强非洲语言在LLM中的代表性。
延伸解读
任务类型决定模型表现
文章指出，GPT-4在新闻主题分类和情感分类等分类任务上表现平均或令人印象深刻，但在机器翻译等生成任务上表现非常糟糕。这表明LLM在非洲语言上的能力高度依赖任务类型：分类任务可能只需浅层理解，而生成任务要求更深层的语言生成能力。读者在应用这些模型时，应针对具体任务评估，而非一概而论。
mT0在跨语言问答中的优势
研究发现，mT0在非洲语言的跨语言问答任务上表现最佳，甚至超过了有监督的微调mT5和GPT-4。这提示专门的多语言模型在特定任务上可能优于通用大模型。对于资源有限的语言，选择针对多语言优化的模型可能更有效，而不是盲目追求参数规模更大的模型。
LLaMa 2表现最差的原因
LLaMa 2在评估中表现最差，文章归因于其有限的多语言能力和以英语为中心的预训练语料库。这说明预训练数据的语言分布对低资源语言性能至关重要。如果模型训练时缺乏非洲语言数据，即使模型规模大，也难以在相关任务上取得好效果。
呼吁加强非洲语言代表性
文章强调，随着LLM日益普及，必须确保非洲语言在模型中得到良好代表。当前所有评估模型在非洲语言上均低于水平，与英语等高资源语言差距较大。这不仅是技术问题，也涉及语言公平性和包容性，需要研究者和开发者共同关注。
Q&A
大型语言模型在非洲语言上的表现如何？
大型语言模型在非洲语言上的表现普遍较差，所有模型的性能都低于高资源语言如英语。
在评估中，哪种大型语言模型在非洲语言的跨语言问答任务中表现最佳？
mT0在非洲语言的跨语言问答任务中表现最佳，超过了微调的mT5和GPT-4。
GPT-4在分类任务和生成任务中的表现如何？
GPT-4在分类任务中表现较好，但在机器翻译等生成任务上效果不佳。
LLaMa 2在非洲语言的表现为何较差？
LLaMa 2由于有限的多语言能力和以英语为中心的预训练语料库，表现最差。
研究对非洲语言在大型语言模型中的代表性有何呼吁？
研究呼吁确保非洲语言在大型语言模型中得到更好的代表性，以提高其性能。
在评估的五个任务中，哪些任务被用于测试大型语言模型？
评估包括新闻主题分类、情感分类、机器翻译、问答和命名实体识别五个任务。
