安全的本质：大模型能否被严谨解释为符号逻辑？｜知乎先行者沙龙分享
内容提要
本文讨论了大模型能否被严谨解释为符号逻辑的问题，传统的深度学习发展路径已经走到了终点，需要重新定义大模型的泛化性和鲁棒性。作者呼吁对神经网络符号化解释进行数学证明，并强调对真理和严谨性的追问的重要性。
延伸解读
从“调结构”到“调不动”：大模型时代的工程瓶颈
文章指出，2012年深度学习兴起后，研究者主要通过调整网络结构和损失函数来提升性能，但这一路径在大模型时代遭遇瓶颈。因为每次调整都意味着巨大的计算、时间和电力开销，传统“试错式”工程方法已难以为继。作者认为，这迫使人们必须重新思考模型的内在逻辑，而非继续依赖端到端训练和无穷评测。
交互概念：为神经网络符号化解释提供数学基础
作者提出用“交互”来定义神经网络建模的概念，即输入单元间的非线性关系。例如“green hand”中两个单词的交互产生“新手”含义。文章强调，需要数学证明交互的稀疏性（模型仅建模少量交互）、无限拟合性（少量交互可拟合指数级遮挡样本的输出）和泛化性（交互在不同样本和模型间可迁移），从而将神经网络预测逻辑严谨地解释为符号化概念。
自我陈述：比端到端测试更高效的安全评估视角
文章类比人类学习，指出人可以通过符号化语言“自我陈述”来传递认知，而当前大模型的安全、对齐和幻觉问题主要依赖端到端测试。作者认为，若能将神经网络内在逻辑表征为交互概念，大模型便可在“概念层面”进行自我陈述，从而为可靠性、安全性等提供新的评估角度。这需要建立新的公理和定理体系，而非依赖简单结论。
Q&A
为什么说传统深度学习的发展路径已经走到尽头？
传统深度学习依赖端到端训练，需要不断调整神经网络结构和损失函数，但在大模型时代，每次调整都意味着巨大的计算资源、时间和电力开销，导致传统方法难以为继。
大模型能否被严谨地解释为符号逻辑？
文章探讨了这一问题，认为需要从数学上证明神经网络可以被解释为符号化的交互概念，并证明这些概念的稀疏性、无限拟合性和泛化性，从而为解释大模型提供理论基础。
什么是神经网络中的“交互”概念？
交互是指输入单元（如单词或token）之间的非线性关系。例如，在“green hand”中，神经网络建模了“green”和“hand”的交互，从而翻译为“新手”而非“绿色的手”。
交互概念具有哪些数学性质？
文章指出交互概念具有三个性质：稀疏性（神经网络只建模少量交互）、无限拟合性（少量交互可拟合指数级遮挡样本的输出）和泛化性（同一交互在不同样本和不同神经网络间具有强泛化性和迁移性）。
如何从概念层面评估大模型的安全性？
通过证明交互概念的稀疏性、无限拟合性和泛化性，可以将神经网络预测逻辑解释为交互概念，从而在概念表征层面重新定义大模型的泛化性、鲁棒性，并为幻觉、可靠性、安全性、价值对齐等任务提供新的评估视角。
为什么作者强调对神经网络符号化解释需要严谨的数学证明？
作者认为，简单的结论往往漏洞百出，必须对神经网络符号化解释进行严谨建模和证明，不能仅依赖直觉或工程性实验，否则无法真正解决大模型的可解释性和安全性问题。
