实现符号逻辑推理的最佳方法是什么？
内容提要
作者发现曲线拟合是错误的符号推理建模方法，尝试使用基于LSTM/GRU的模型进行一阶逻辑分类，但无法学习实际的一阶逻辑。作者认为问题在于学习过程，而不是函数空间的表示能力。推友讨论了Transformer的优势和符号方法的潜力。作者认为智能缺少讲故事的模型。
延伸解读
学习过程才是瓶颈
作者通过多年实验发现，LSTM/GRU模型无法学会一阶逻辑推理，问题不在于函数空间能否表示这种能力，而在于随机梯度下降（SGD）的学习过程。模型总是依赖统计关键词关联，而非真正的逻辑规则。这提示我们，即使网络理论上具备表示能力，优化算法也可能无法引导模型学到符号推理。
Transformer的插值优势与符号短板
文章指出，Transformer的多头注意力机制本质上是在潜空间进行样本插值，这使其在通过插值泛化的深度学习任务上表现卓越，但在学习符号程序时甚至比RNN更差。递归结构对符号程序是重要先验，而Transformer缺乏这一先验。因此，选择架构时需权衡任务类型：插值任务选Transformer，符号推理则需另寻他路。
符号方法与神经网络的结合潜力
推友讨论认为，单纯依赖LSTM/GRU可能限制问题解决路径，符号方法提供了另一种选择。将符号方法与神经网络结合，或许能推动更丰富的AI模型。但文章也暗示，当前神经模型在学习符号程序上普遍失败，结合方式仍需探索，不能简单期望混合架构自动解决学习过程的问题。
智能的缺失环节：讲故事模型
作者提出智能包含自动完成和讲故事两部分：自动完成负责从记忆按序预测，讲故事则判断何时更符合逻辑、概念清晰且适合概念图。当前AI擅长自动完成，但缺乏讲故事模型。这一观点为符号推理研究提供了新视角：除了改进学习算法，还需构建能进行逻辑判断和概念组织的模型。
Q&A
为什么曲线拟合不适合用于符号推理建模？
作者在2016年初意识到，曲线拟合是对涉及符号推理的问题空间进行通用建模的错误范式。基于LSTM/GRU的模型无法学会执行实际的一阶逻辑，只会抓住统计关键词关联进行预测。
LSTM/GRU模型在学习一阶逻辑时遇到了什么困难？
基于LSTM/GRU的模型完全无法学会执行实际的一阶逻辑，尽管这种能力是函数空间的一部分。问题不在于函数空间的表示能力，而在于学习过程（SGD）。模型只会学习点对点的关联，对程序合成无用。
Transformer在符号程序学习方面表现如何？
Transformer在学习符号程序方面表现糟糕，甚至比RNN更差，这主要是由于其强插值架构（多头注意力硬编码了样本插值）。但Transformer在深度学习的插值泛化方面是最好的。
Transformer相比RNN有哪些优势？
通过注意力机制，Transformer能做三件很酷的事情：1) 基于内容的查找；2) 绝对位置查找；3) 相对位置查找。
符号方法与神经网络结合可能带来什么？
仅仅依靠LSTM/GRU可能使人陷入狭窄的解决问题道路。符号方法提供了另一种选择，也许两者结合可以推动我们走向更丰富的AI模型。
作者认为智能包括哪两个主要部分？
智能包括两个主要部分：自动完成（从记忆中按顺序预测下一个可能的术语）和讲故事（判断什么时候更符合逻辑，什么时候概念清晰并且适合概念图）。我们缺少第二个模型。
