大模型内部藏着一本语法书：人类能读懂的符号手册
内容提要
耶鲁等机构研究发现，大模型内部向量可被“张量积表示”的符号公式高度近似替换，且模型功能不变，干预实验成功率达90.3%。这支持了符号结构涌现理论，但存在2.36%的差距，表明近似而非等同，复杂句处理更依赖词序。
延伸解读
“近似”而非“等同”：2.36%的差距意味着什么？
论文反复强调“近似”而非“等同”，干预实验平均成功率90.3%，算术任务中符号公式与原始模型存在2.36%的差距。这表明符号结构能解释大部分行为，但仍有小部分无法被公式捕捉。这2.36%可能是噪音，也可能指向符号主义无法覆盖的鸿沟，提醒我们不要过度解读“可解释性”的成果。
词序 vs 语法树：复杂句处理的新线索
在复杂句子测试中，基于线性词序的“双向角色方案”表现优于基于句法结构的“句法角色方案”，这与许多语言学家的直觉相反。说明大模型在处理复杂句时可能更依赖词序而非语法树，为理解模型的语言处理机制提供了新视角，也提示语法结构在模型中的角色可能被高估。
从哲学争论到实验验证：一场跨越36年的对话
1988年Fodor和Pylyshyn质疑连接主义无法具备系统性，Smolensky提出“极限主义”作为中间路线。2026年这篇论文通过实验表明，神经网络内部向量可被符号公式高度近似替换，且模型功能不变，支持了符号结构涌现理论。但作者也承认仅在完全系统性领域测试，真实语言的模糊性和统计性尚未涉及，因此这场争论并未终结，而是被实验向前推进了一大步。
Q&A
大模型内部真的存在人类能读懂的符号结构吗？
根据耶鲁等机构的研究，大模型内部的向量表征可以被“张量积表示”的符号公式高度近似替换，且模型功能不变，干预实验成功率达90.3%。这表明大模型内部可能存在类似符号的结构，但并非完全等同，存在约2.36%的差距。
什么是张量积表示？它如何解决神经网络的绑定问题？
张量积表示是Smolensky在1987年提出的理论，用于解决绑定问题。它将每个句子拆分为“填充物+角色”的配对，如“猫追狗”拆成“主语-猫”、“谓语-追”、“宾语-狗”，然后将填充物和角色向量通过张量积操作生成矩阵并相加。这样，同一个词在不同角色下会有不同的向量表示，从而区分顺序。
DISCOVER方法是如何工作的？
DISCOVER方法包括三个步骤：首先让神经网络处理输入并记录内部向量；然后训练一个张量积表示模型来模仿这些向量；最后将网络自身的向量替换为公式计算结果，观察网络是否仍能正常工作。如果功能不变，则说明符号公式与网络内部表征在功能上等价。
干预实验的成功率是多少？它证明了什么？
干预实验的平均成功率为90.3%。实验中，研究者修改了内部表征中特定符号对应的向量，如将“主语形容词”改为“宾语形容词”，模型输出相应改变，表明这些向量确实承载了符号信息，且模型行为可被符号级干预控制。
这项研究如何回应了Fodor和Pylyshyn对连接主义的挑战？
Fodor和Pylyshyn认为连接主义网络无法具备系统性，而这项研究通过实验表明，神经网络内部的向量在功能上等价于符号结构，且能泛化到未见过的组合，支持了Smolensky的“极限主义”观点，即网络在无限逼近符号系统，但并未完全等同，仍有2.36%的差距。
论文中提到的2.36%的差距意味着什么？
2.36%的差距表明张量积表示近似与原始模型行为并非完全一致，说明符号公式能解释大部分行为，但仍有小部分无法被符号结构捕捉。这可能意味着神经网络中存在非符号的、或更复杂的机制，符号主义与连接主义的鸿沟尚未完全弥合。
在处理复杂句子时，大模型更依赖词序还是语法树？
研究发现，在处理复杂句子时，基于句子线性顺序的“双向角色方案”表现优于基于句法结构的“句法角色方案”，表明大模型更依赖词序而非语法树，这与传统语言学直觉相反。
