维格纳六十年前的数学悖论，正在大语言模型身上重演
内容提要
维格纳曾惊叹数学能精准描述物理世界，如今类似悖论出现在大语言模型上：仅靠预测下一个词，模型内部却涌现出符号推理结构，其表征能与人类分类对齐。研究显示，模型追求极致压缩，人类则保留冗余细节。若语言只是随机拼贴，就不该包含重建思维结构的信号，但它确实包含了。
延伸解读
从“随机鹦鹉”到符号架构：标签的局限
“随机鹦鹉”标签源于2021年论文，强调模型仅概率拼接语言。但文章指出，该标签被过度简化，连作者本德尔也承认误解。2025年ICML研究解剖Llama3-70B，发现其内部涌现出符号推理架构，分三步实现抽象推理。这挑战了纯粹模仿论，表明模型可能提取了深层结构，而非简单复读。
压缩与理解：效率背后的代价
文章引用ICLR论文，指出大语言模型追求最优信息论压缩，而人类保留冗余细节。模型能准确判断情绪极性，却丢失“下雨”与“咖啡凉了”等上下文关联。这种高效压缩虽提升预测能力，但可能牺牲了人类理解中关键的适应性效用。理解是否等于压缩，成为开放问题。
世界模型之争：文本能否接地？
杨立昆批评LLM缺乏物理世界接地理解，仅靠文本无法学会重力。但2025年研究显示，训练充分的世界模型能捕获连贯环境动态，在结构良好领域可靠建模。文章类比：孩子无需被苹果砸中，也能从他人反应学会重物下落。若文本包含足够因果结构，模型或能提取，这为LLM作为世界模型提供了有限支持。
Q&A
维格纳六十年前的数学悖论具体指什么？
1960年，物理学家尤金·维格纳发表论文《数学在自然科学中不合理的有效性》，指出数学概念总在意想不到的地方出现，并能极其精准地描述物理世界，这种有效性近乎神秘，找不到合理解释。
为什么说大语言模型不是简单的“随机鹦鹉”？
“随机鹦鹉”指模型只会概率拼接语言片段，但真正的鹦鹉是确定性模仿者，而大语言模型是概率性生成器，能生成可验证的新颖输出。2025年ICML研究解剖Llama3-70B，发现其内部涌现出符号架构，通过识别符号、归纳、逻辑应用三步实现抽象推理，这超出了查表操作。
预测下一个词和压缩数据有什么关系？
在数学上，预测下一个词和压缩数据是同一件事。每个压缩算法都对应一个预测模型，反之亦然。模型通过梯度下降逼近数据的高度压缩表示，要完美预测下一个词，就必须提取文本中所有隐藏规律，压缩越狠，提取的结构越深。
大语言模型和人类在信息处理上有什么关键区别？
ICLR论文用信息瓶颈框架比较发现：大语言模型追求最优的信息论压缩，在类别边界上与人类大体一致，但细粒度语义区分不足；人类则保留“低效”的、充满上下文细节的表征，追求适应性效用。模型丢掉了看似冗余的细节，而这些细节恰恰构成真正的理解。
杨立昆对大语言模型的批评是什么？
杨立昆在2022年立场论文《通往自主机器智能的道路》中提出，大语言模型缺乏对物理世界的接地理解，因为训练信号只有文本，没有与真实世界交互。他认为真正智能需要世界模型和预测行动后果的能力，文本预测做不到。
大语言模型能作为世界模型使用吗？
2025年一项研究在五个代表性环境中评估LLM的内部潜在动态，结论是训练充分的世界模型能捕获连贯的环境动态，在结构良好的领域中表现出可靠的世界建模能力。这意味着模型可能从人类写下的海量描述中提取出因果结构。
