大规模多元文化知识获取与语言模型基准测试
内容提要
该文综述多语种大语言模型的文化多样性研究，涵盖CulturaX多语种数据集、DLAMA-v1文化基准、文化知识机器翻译、GeoMLAMA跨文化基准、MaRVL多语言视觉推理数据集，并探讨大语言模型的文化自我认知与偏见问题。
延伸解读
文化多样性评估的基准进展
文章梳理了多个针对文化多样性的评估基准，如DLAMA-v1、GeoMLAMA和MaRVL。这些基准从不同角度测试模型的文化知识，例如GeoMLAMA发现大模型不一定更好存储多样概念，MaRVL显示跨语言视觉推理性能滞后于英语。这些工作表明，评估多语言模型的文化能力需要专门设计的基准，而非仅依赖通用性能指标。
文化知识融入机器翻译的尝试
文章提到一项研究将文化知识应用于机器翻译，通过数据筛选构建文化相关平行语料，并设计提示策略。实验表明，这些方法能帮助大语言模型在翻译文化特定句子时优于传统NMT系统。这提示我们，对于文化负载词句的翻译，融入文化知识可能比单纯依赖通用翻译模型更有效。
大语言模型的文化偏见与自我认知
文章指出，大语言模型存在文化偏见，例如ChatGPT和Bard的价值观更接近英语国家和经济竞争力强的国家。同时，模型在探索非本国文化知识时可能表现更好，而语言不一定能很好反映本地文化知识。这些发现提醒我们，模型的文化自我认知和偏见可能影响其公平性和可靠性，需要持续关注和纠正。
Q&A
CulturaX 是什么？它解决了哪些问题？
CulturaX 是一个为大型语言模型提供的多语种数据集，经过严格清洗和去重处理，解决了 LLM 开发中的透明度、幻觉和偏见问题，促进了多语种 LLM 的研究和发展。
DLAMA-v1 基准测试有什么发现？
DLAMA-v1 是一个针对文化多样性的基准数据集，研究表明英语提示对多语言模型的性能有较大的影响。
如何将文化知识融入大语言模型的机器翻译？
研究提出了一种新的数据筛选方法来构建具有文化相关性的平行语料库，并设计了简单有效的提示策略，实验表明这些方法能大大帮助将文化知识融入大语言模型的机器翻译，在翻译文化特定句子方面优于传统的 NMT 系统。
GeoMLAMA 基准测试揭示了多语种 PLMs 的哪些特点？
GeoMLAMA 是一个多语种、跨文化的基准数据集，旨在探究多语种 PLMs 中通用知识的多样性。测试发现：尺寸较大的多语种 PLMs 并不一定比尺寸较小的更好地存储多样的概念；语言不一定能很好地反映其本地文化的知识；一个语言在探索非本国国家的知识时，可能比探索本国国家的知识更好。
MaRVL 数据集是什么？它的基线结果如何？
MaRVL 是一个用于多文化及多语言视觉和语言推理的数据集，通过引入印尼语、汉语、斯瓦希里语、泰米尔语和土耳其语等语言，构建了新的 ImageNet-style 分层协议，从本地化角度推荐相关概念和图像。基线测试发现现代模型的跨语言性能显著滞后于英语的监督性能。
大语言模型的文化自我认知是怎样的？
研究通过从 GLOBE 项目获取的价值问题激发 ChatGPT 和 Bard，结果显示它们与英语国家和经济竞争力强的国家的价值观最为相似。认识到大语言模型的文化偏见并理解它们的工作方式对社会中的所有人都非常重要，以避免人工智能的黑盒子延续偏见。
