大型语言模型存在地理偏见
内容提要
多项研究探讨大语言模型的地理空间能力与偏见。GeoLLM结合LLM与开放街道地图数据提取地理知识，在预测人口密度等任务上性能提升70%。研究还发现LLM存在地理偏见、性别职业刻板印象和人口统计偏见，其空间时间知识以线性表示编码，具备一定世界模型，但推理时可能放大地缘政治偏好。
延伸解读
地理偏见的具体表现
文章指出，大型语言模型存在地理偏见，其空间时间知识以线性表示编码，具备一定世界模型，但推理时可能放大地缘政治偏好。此外，模型还表现出性别职业刻板印象和人口统计偏见，例如更倾向于选择与性别刻板印象相关的职业，以及将墨西哥工人与低薪工作、女性与秘书角色关联。这些偏见可能影响下游应用的公平性。
GeoLLM 的性能提升与意义
GeoLLM 结合大型语言模型与开放街道地图数据，在预测人口密度等任务上性能提升 70%，与卫星数据基准相当甚至超出。这表明大型语言模型在地理空间任务上具有可行性和潜力，为地理空间预测提供了新思路。
空间推理能力的评估与局限
研究评估了 GPT-3.5、GPT-4 和 Llama-2 判断斜对角方向的能力，GPT-4 准确率最高为 55.3%，但所有模型在可能存在层次性偏差的任务上准确性较低。尽管它们能识别最近的基准方向，但错误模式类似人类，显示空间推理仍有局限。
文化偏见与缓解尝试
通过 GLOBE 项目问题测试 ChatGPT 和 Bard，发现它们的文化自我认知与英语国家和经济竞争力强的国家价值观最相似。为缓解地理抹除现象，有研究使用自定义目标微调模型，均衡捕捉低频率国家提及。这些工作强调需谨慎测试和减轻偏见，以确保公平对待边缘化个体和社区。
Q&A
GeoLLM是什么？它如何提升地理空间预测任务的性能？
GeoLLM是一种利用大型语言模型中的地理空间信息和开放街道地图辅助数据来提取地理空间知识的新方法。在预测人口密度等任务上，它比最近邻和直接使用提示信息的基准方法性能提升了70%，甚至与卫星数据基准相当或更优。
大型语言模型在地理空间任务中存在哪些偏见？
大型语言模型存在地理偏见，例如在推断时会过度放大地缘政治偏好；同时还有性别职业刻板印象和人口统计偏见，如倾向于将墨西哥工人与低薪工作关联、女性与秘书角色关联。
大型语言模型是否具备世界模型？有哪些证据？
是的，研究表明LLM在多个尺度上学习了空间和时间的线性表示，这些表示对提示变化具有鲁棒性，并跨不同实体类型统一。还发现了可靠编码空间和时间坐标的个别“空间神经元”和“时间神经元”，支持LLM不仅仅学习了表面统计数据，而是字面上的世界模型。
GPT-4在判断地理位置斜对角方向的能力如何？与其他模型相比怎样？
在评估LLM判断地理位置斜对角方向的基准测试中，GPT-4的准确率为55.3%，优于GPT-3.5的47.3%和Llama-2的44.7%。尽管准确性不高，但大多数情况下能识别最近的基准方向，显示出类似人类的错误理解。
大型语言模型的文化自我认知偏向哪些国家？
通过GLOBE项目价值问题激发ChatGPT和Bard的研究显示，大型语言模型与英语国家和经济竞争力强的国家的价值观最为相似。
如何减轻大型语言模型中的地理抹除现象？
通过使用自定义目标进行微调，研究和实施了一种地理抹除形式，均衡地捕捉LLM中低频率的国家提及，从而减轻了地理抹除现象。
