公理训练让LLM学会因果推理：6700万参数模型比肩万亿参数级GPT-4
内容提要
这篇文章介绍了一种通过公理训练来教授Transformer模型因果推理的方法。研究团队通过构建数据集、损失函数和位置嵌入来实现公理训练。他们发现，训练在简单链上的模型可以泛化到更大的链上，但无法泛化到更复杂的场景。然而，如果在混合数据集上训练模型，则可以很好地泛化到各种评估场景。此外，他们还发现位置嵌入对于实现因果泛化非常重要。该方法还可以应用于解决更困难的问题，如根据因果关系分辨相关性。该研究提供了一种新的范式来教授模型学习因果推理。
延伸解读
公理训练的核心思路
公理训练将因果公理表示为符号元组（前提、假设、结果），通过枚举生成大量合成数据，让Transformer学习从前提推导假设是否成立。这种方法不依赖特定数据分布，而是直接学习公理的符号演示，因此模型能泛化到多种下游因果推理场景。
泛化能力的边界与突破
在简单链上训练的模型能泛化到更长的链，但无法处理顺序或结构变化。然而，若在混合数据集（包含随机逆向边）上训练，模型就能泛化到各种评估场景。这表明数据扰动对提升泛化能力至关重要，也揭示了纯链式训练的局限性。
位置编码的关键作用
位置编码的选择显著影响因果泛化。实验发现，无位置编码（NoPE）的模型在长度泛化上表现最佳，甚至媲美万亿参数级GPT-4；正弦编码在某些情况下也不错。这挑战了传统认为位置编码必需的观点，为设计因果推理模型提供了新方向。
小模型超越大模型的启示
6700万参数的Transformer在公理训练后，能在因果推理任务上达到与GPT-4相当甚至更高的准确度。这说明针对特定任务的结构化训练，可能比单纯扩大模型规模更有效，为高效AI研究提供了新思路。
Q&A
公理训练是什么？
公理训练是一种通过符号演示教授Transformer模型因果推理的方法，基于被动数据学习因果公理。
公理训练如何影响模型的泛化能力？
公理训练可以提升模型在不同评估场景中的泛化能力，尤其是在混合数据集上训练时表现更佳。
位置嵌入在公理训练中有什么重要性？
位置嵌入对于实现因果泛化非常重要，能够提供token在序列中的位置信息，影响模型的表现。
训练在简单链上的模型能否应用于复杂场景？
训练在简单链上的模型可以泛化到更大的链上，但在顺序或结构泛化等复杂场景中表现不佳。
公理训练的研究团队使用了哪些方法构建数据集？
研究团队通过枚举特定变量设置下的所有可能元组来构建训练数据集，并根据前提映射假设生成标签。
公理训练能解决哪些复杂问题？
公理训练能够解决如根据因果关系分辨相关性等更复杂的问题，涉及多个公理的知识。
