这篇文章介绍了一种通过公理训练来教授Transformer模型因果推理的方法。研究团队通过构建数据集、损失函数和位置嵌入来实现公理训练。他们发现,训练在简单链上的模型可以泛化到更大的链上,但无法泛化到更复杂的场景。然而,如果在混合数据集上训练模型,则可以很好地泛化到各种评估场景。此外,他们还发现位置嵌入对于实现因果泛化非常重要。该方法还可以应用于解决更困难的问题,如根据因果关系分辨相关性。该研究提供了一种新的范式来教授模型学习因果推理。
完成下面两步后,将自动完成登录并继续当前操作。