自然语言模型中地理表现的缩放规律
内容提要
大型语言模型在地理空间任务中具有潜力，但存在地理偏差。实验表明，模型能学习空间与时间的线性表示，具备一定世界认知，可提取地理知识用于人口密度预测，性能提升达70%。然而，其推断会放大地缘政治偏好，不同语言间知识共享程度不一，且在空间结构推理上表现各异，错误反映空间与非空间因素，仍有改进空间。
延伸解读
地理偏差与地缘政治放大
文章指出，大型语言模型在推断地理信息时会过度放大地缘政治偏好，且这种偏差在不同语言间共享程度不一。这意味着模型可能更倾向于某些国家或地区的视角，导致地理空间决策出现系统性偏差。读者需注意，模型的地理知识并非中立，其输出可能反映训练数据中的政治倾向。
空间与时间表示的可解释性
研究发现，LLMs在多个尺度上学习了空间和时间的线性表示，并存在编码坐标的“空间神经元”和“时间神经元”。这表明模型内部具有结构化的世界知识，而不仅仅是表面统计。这一发现为理解模型如何表征地理信息提供了线索，也提示可通过干预这些表示来调整模型行为。
地理空间预测的潜力与局限
GeoLLM方法利用LLM中的地理空间信息，在人口密度预测等任务上相比基准提升70%，甚至与卫星数据相当。这展示了LLM在地理空间任务中的潜力。然而，模型在空间结构推理上表现各异，错误反映空间与非空间因素，说明其可靠性仍有限，需结合其他数据源谨慎使用。
Q&A
大型语言模型在地理空间任务中表现如何？
大型语言模型在地理空间任务中具有潜力，但存在地理偏差。它们能学习空间与时间的线性表示，具备一定世界认知，可提取地理知识用于人口密度预测，性能提升达70%。然而，其推断会放大地缘政治偏好，不同语言间知识共享程度不一，且在空间结构推理上表现各异，错误反映空间与非空间因素，仍有改进空间。
GeoLLM是什么？它有什么作用？
GeoLLM是一种利用大型语言模型中的地理空间信息和开放街道地图的辅助数据，有效提取地理空间知识的新方法。它用于测量人口密度等中心问题，相较于最近邻和直接使用提示信息的基准方法，在多个任务上展现了70%的性能提升，并且与卫星数据的基准结果相当甚至超出。
大型语言模型是否学习了空间和时间的线性表示？
是的，使用Llama-2模型，通过分析三个空间数据集（全球、美国、纽约地点）和三个时间数据集（历史人物、艺术品、新闻标题）中学到的表示，发现LLMs在多个尺度上学习了空间和时间的线性表示，表征对提示的变化具有鲁棒性，并且跨不同实体类型统一。此外，还确定了可靠地编码空间和时间坐标的个别“空间神经元”和“时间神经元”。
大型语言模型在地理知识上存在哪些偏见？
大型语言模型存在地理偏见，其推断会过度放大地缘政治偏好，并且知识在不同语言中分享程度有所不同。尽管PLMs的表示与物理世界的各个国家的关联性惊人地契合，但这种知识在不同语言中分享程度却有所不同。
大型语言模型在空间结构推理任务中表现如何？
通过设计自然语言导航任务，评估了LLMs（特别是GPT-3.5-turbo，GPT-4和Llama2系列模型）在表示和推理空间结构方面的能力，并与人类比较。任务揭示了LLMs在不同空间结构（包括正方形、六边形和三角形网格、环和树形结构）中的表现变异性。类似于人类，LLMs利用对象名称作为地标来维护空间地图。错误分析发现，LLMs的错误反映了空间和非空间因素。这些发现表明，LLMs似乎能够隐含地捕捉到空间结构的某些方面，但仍有改进空间。
如何减轻大型语言模型中的地理抹除现象？
使用自定义目标进行微调，研究和实施了一种地理抹除形式，均衡地捕捉LLM中低频率的国家提及，从而减轻了地理抹除现象。
