MIT：大模型不只是文字游戏

大型语言模型（LLM）具有潜在的革命性特征，不仅仅是文字游戏。

这些模型能够形成时间和空间的连贯表示。

研究确定了负责理解空间和时间维度的特定神经元。

论文《语言模型代表空间和时间》探讨了LLM是否能够形成连贯的世界模型。

研究分析了Llama-2系列模型在多个空间和时间数据集上的学习表示。

发现大模型可以学习跨多个尺度的空间和时间的线性表示。

识别了编码空间和时间坐标的单个“空间神经元”和“时间神经元”。

现代大模型获得了关于空间和时间的结构化知识，支持了它们学习世界模型的观点。

如果大模型正在自主开发概念，未来的模型可能具有多模式功能和更高的参数量。