猎豹: 517 种非洲语言的自然语言生成
内容提要
本文综述非洲语言自然语言处理研究：SERENGETI模型覆盖517种非洲语言，在8项理解任务上表现良好；测试mT0、LLaMa 2和GPT-4在30种非洲语言五类任务上的表现，整体低于英语，GPT-4分类尚可但翻译很差，mT0跨语言问答最佳。另有MasakhaNEWS新闻分类数据集、AfriSenti情感分析、NTeALan开源词典平台及低资源语言机器翻译等成果，呼吁加强非洲语言在大型语言模型中的代表性。
延伸解读
模型表现差异揭示语言资源不均衡
文章指出，mT0、LLaMa 2和GPT-4在30种非洲语言上的整体表现均低于英语等高资源语言。其中GPT-4在分类任务上尚可，但机器翻译等生成任务表现很差；LLaMa 2因多语言能力有限和英语中心预训练语料而表现最差。这提示读者，当前大模型的能力在不同语言间并不均衡，非洲语言使用者可能难以获得同等质量的服务。
跨语言问答的意外发现：mT0超越GPT-4
在跨语言问答任务上，mT0的表现最佳，甚至超过了有监督微调的mT5和GPT-4。这一结果说明，针对多语言场景设计的模型在特定任务上可能比通用大模型更有效。对于关注非洲语言NLP的研究者或开发者，这意味着模型选择需结合任务类型，而非盲目追求参数规模或知名度。
低资源语言实践：从数据集到教育应用
文章列举了多项非洲语言NLP成果：MasakhaNEWS新闻分类数据集覆盖16种语言，零样本平均F1达70；AfriSenti情感分析在共享任务中获第三名但部分语言表现不佳；NTeALan平台协作构建开源词典；神经机器翻译用于南非在线教育，Transformer架构比先前技术提升5.33 BLEU。这些案例表明，低资源语言的技术进步依赖数据、工具和场景化应用的协同。
Q&A
SERENGETI模型支持多少种非洲语言？它在哪些任务上表现良好？
SERENGETI模型覆盖517种非洲语言和方言，在8项自然语言理解任务上表现良好，尤其在零样本测试下表现受语言间相互可理解性影响。
大型语言模型如GPT-4在非洲语言上的表现如何？
研究测试了mT0、LLaMa 2和GPT-4在30种非洲语言上的五个任务，整体表现低于英语等高资源语言。GPT-4在分类任务上表现平均或令人印象深刻，但在机器翻译等生成任务上非常糟糕；LLaMa 2因多语言能力有限和英语中心预训练表现最差；mT0在跨语言问答上表现最佳，超过有监督模型和GPT-4。
有哪些针对非洲语言的自然语言处理数据集或资源？
文章提到MasakhaNEWS数据集支持16种非洲语言的新闻主题分类，AfriSenti用于非洲语言情感分析，NTeALan协会建立开源平台协作构建词典数据等资源。
在低资源非洲语言机器翻译上有什么研究成果？
研究使用神经机器翻译技术为低资源本地语言（如非瑟环语）进行在线教育翻译，Transformer架构比之前技术提升5.33 BLEU分数；另有研究为5种南非语言训练神经机器翻译模型并提供代码。
为什么需要加强非洲语言在大型语言模型中的代表性？
因为大型语言模型在非洲语言上表现普遍低于高资源语言，性能差距较大，而這些模型越来越受欢迎，为确保非洲语言不被边缘化，需要加强其在LLM中的代表性。
MasakhaNEWS数据集在非洲语言新闻分类上的效果如何？
MasakhaNEWS支持16种非洲语言的新闻主题分类，使用ChatGPT等技术在零样本情况下平均F1得分70，利用PET方法10个样本即可实现较好效果。
