该研究创建了多语言基准测试,评估语言模型的事实知识检索能力,并提出基于语言切换的方法。研究发现不同语言间的事实知识差异显著,英语表现优异,且多语言模型存在地理偏见。通过评估模型一致性和推理能力,专有模型通常优于公开模型。研究还提出在混合语言数据上微调模型的方法,以提升跨语言性能。
本研究评估了多语言大型语言模型(MLLMs)的事实准确性,发现英语表现优异但存在地理偏见。研究强调了改进多语言事实评估的必要性,并提出了新的真实性评估基准,以提升模型的可靠性和准确性。
多项研究探讨大语言模型的地理空间能力与偏见。GeoLLM结合LLM与开放街道地图数据提取地理知识,在预测人口密度等任务上性能提升70%。研究还发现LLM存在地理偏见、性别职业刻板印象和人口统计偏见,其空间时间知识以线性表示编码,具备一定世界模型,但推理时可能放大地缘政治偏好。
完成下面两步后,将自动完成登录并继续当前操作。