大语言模型有内在的世界模型吗?
原文中文,约2600字,阅读约需7分钟。发表于: 。大语言模型 (LLM) 具体原理是什么?人们还在探究之中:大语言模型 (LLM)不仅仅是傻傻的下一个词预测者,它们还是有自己的的内在世界观模型,这篇新论文揭示了大语言模型的内在三观模型: 此类系统是否只是学习大量表面统计数据?还是数据生成过程的连贯模型(世界模型)? 语言模型有内部世界模型吗?时间感?在多个时空尺度上? 在这篇新论文中,在 Llama-2...
本论文研究了大语言模型的内在世界观,通过分析 Llama-2 系列模型中的学习表示,发现大语言模型可以学习跨多个尺度的空间和时间的线性表征,并且在不同实体类型之间是统一的。研究者认为大语言模型与人脑在某种计算抽象层面上具有可比性。