大型语言模型是否在低资源环境中平等地掌握所有语言?一项比较性研究
原文中文,约500字,阅读约需2分钟。发表于: 。通过将英语翻译为孟加拉语、印地语和乌尔都语,我们提供了用于情感和仇恨言论任务的数据集,促进了对低资源语言处理的研究。此外,我们全面检查了在英语和南亚常用语言之间使用多个 LLM 的零样本学习。我们的发现表明,GPT-4 在不同任务中稳定胜过 Llama 2 和 Gemini,在低资源语言方面英语始终展现出卓越的性能。此外,我们的分析显示,自然语言推理 (NLI)...
最新研究发现,大型语言模型在非洲语言上性能较差,与英语等高资源语言相比存在较大差距。GPT-4在分类任务上表现良好,但在机器翻译等生成任务上表现糟糕。mT0在非洲语言上的跨语言问答表现最佳。研究呼吁确保非洲语言在大型语言模型中得到充分代表。