IndoCulture: 探索涵盖印度尼西亚十一个省份的地理影响的文化常识推理
原文中文，约300字，阅读约需1分钟。发表于：。本研究旨在了解地理因素对语言模型的推理能力的影响，以特别强调印尼十一个不同省份内的多元文化。评估 23 种语言模型表明：（1）即使是最优秀的开源模型，准确率也只有 53.2%；（2）模型在某些特定省份（如巴厘岛和西爪哇）的预测通常更准确；（3）地理背景的加入提升了性能，尤其是在像 GPT-4 这样的大型模型中，强调了地理背景在常识推理中的重要性。
本研究旨在探讨地理因素对语言模型推理能力的影响，特别关注印尼十一个不同省份的多元文化。评估23种语言模型发现，即使是最优秀的开源模型，准确率也只有53.2%。模型在巴厘岛和西爪哇等特定省份的预测通常更准确。地理背景的加入提升了性能，尤其是在大型模型如GPT-4中，强调了地理背景在常识推理中的重要性。
