神经网络能否被严谨地解释为符号逻辑？
内容提要
本文讨论了神经网络能否被严谨地解释为符号逻辑的问题，并提出了两个关键问题：如何定义和证明符号化解释的严谨性，以及在哪些条件下神经网络可以被严谨地解释为符号逻辑。作者认为，传统的深度学习发展路径逐渐走向终点，需要构建一个新的公理和定理体系来解释神经网络的内在逻辑。文章还介绍了稀疏性、无限拟合性和交互的泛化性等性质，并提出通过证明交互概念的稀疏性、无限拟合性和泛化性来解释神经网络的预测逻辑。作者认为这种解释可以重新定义大模型的泛化性、鲁棒性等，并为大模型的幻觉、可靠性、安全性和价值对齐等任务提供新的评估角度。
延伸解读
从“调结构”到“建理论”：大模型时代的成本倒逼
文章指出，传统深度学习依赖调整网络结构和损失函数来提升性能，但到了大模型时代，每次调整都意味着巨大的算力、时间和电力开销，这种端到端训练模式已接近工程极限。作者认为，继续沿旧路径发展将难以为继，因此需要构建新的公理和定理体系，从理论层面解释神经网络的内在逻辑，而非仅靠试错。这一判断为理解当前大模型发展的瓶颈提供了视角。
交互概念：连接神经网络与符号逻辑的桥梁
作者提出用“交互”来刻画神经网络建模的概念，即输入单元之间的非线性关系。例如，大语言模型中“green hand”被建模为“新手”而非“绿色的手”，体现了单词间的交互。文章认为，通过证明交互的稀疏性、无限拟合性和泛化性，可以将神经网络的预测逻辑解释为符号化概念，从而“数出”模型所建模的概念数量，为符号化解释提供数学基础。
稀疏性与无限拟合性：理论证明的关键性质
文章介绍了两个已证明的性质：稀疏性指神经网络输出在满足遮挡平滑时，只建模少量交互（小模型通常少于100个，大模型少于300个）；无限拟合性指用这些少量交互可以近似估计神经网络在指数级遮挡样本上的输出变化。这两个性质共同说明，复杂网络的行为可由少量交互概念充分刻画，为严谨解释提供了可操作的切入点。
泛化性发现：不同模型“殊途同归”的启示
作者发现，同一交互在不同样本间有强泛化性，甚至在不同结构、不同参数、不同训练样本的对话大模型上，对相同输入句子的交互也高度一致。这种“殊途同归”的现象反直觉，但暗示交互可能可靠地表达了神经网络所建模的概念。基于此，文章提出可在概念层面重新定义大模型的泛化性、鲁棒性，并为幻觉、安全性、价值对齐等任务提供新的评估角度。
Q&A
神经网络能否被严谨地解释为符号逻辑？这个问题包含哪两个关键子问题？
包含两个关键子问题：1. 如何定义并数学证明“符号化解释的严谨性”；2. 求得“在哪些条件下”神经网络可以被严谨地解释为符号逻辑。
为什么传统的深度学习发展路径逐渐走向终点？
传统深度学习依赖端到端训练，通过调整神经网络结构和损失函数来提升性能，但到了大模型时代，每次结构调整或损失函数调整都意味着大量的计算资源、时间成本和电力开销，导致无法无限制地调参，传统路子走不动了。
人类学习方式与大模型学习方式的关键区别是什么？
人类学习是小样本的，能举一反三，并且可以“自我陈述”——将自身逻辑转化为符号化语言表达出来，让别人理解自己真正懂了。而大模型缺乏这种自我陈述能力，依赖端到端的大样本测试。
什么是神经网络中的“交互”？能否举例说明？
交互是指输入单元（如单词或token）之间的非线性关系。例如，在英语中“green hand”，单个词是“绿色的手”，但神经网络建模了两个单词的非线性交互，翻译为“新手”。
神经网络的交互概念具有哪些关键性质？这些性质如何帮助解释神经网络的预测逻辑？
交互概念具有稀疏性（神经网络只建模少量交互，小模型一般少于100个，大模型少于300个）、无限拟合性（少量交互可以充分近似神经网络在指数级遮挡样本上的输出变化）和泛化性（同一交互在不同样本和不同神经网络间有很强的泛化和迁移性）。通过这些性质，可以将神经网络预测逻辑解释为交互概念，并重新定义泛化性、鲁棒性等。
交互概念的研究对大模型的安全性和可靠性问题有什么帮助？
通过交互概念的研究，可以在概念表征层面重新定义大模型的泛化性、鲁棒性，并为大模型的幻觉、可靠性、安全性和价值对齐等任务提供新的评估角度，即从“概念层面的自我陈述”角度进行评估。
