基于梯度下降的 Transformer 网络学习因果结构
内容提要
本文提出自注意力的因果解释：将自注意力视为估计输入符号序列的结构方程模型，据此计算深层注意力表示的偏相关，估计符号间条件独立关系，从而用基于约束的算法学习因果结构，使预训练Transformer可用于零样本因果发现，并在情感分类和推荐任务上验证。
延伸解读
因果解释的核心思路
文章将自注意力视为估计输入符号序列的结构方程模型，从而赋予其因果含义。具体来说，通过计算最深层注意力表示之间的偏相关，可以估计符号间的条件独立关系，进而用基于约束的算法学习因果结构。这一解释在存在潜在混淆变量时依然成立，为理解Transformer的内部机制提供了新视角。
零样本因果发现的可行性
基于上述解释，预训练Transformer无需额外训练即可用于零样本因果发现。这意味着，对于新的输入序列，模型能够直接推断变量间的因果依赖，而无需针对特定任务进行微调。文章在情感分类和推荐任务上验证了该方法的有效性，展示了其跨任务的潜力。
与梯度下降研究的关联
文章提及的多个研究（如线性Transformer隐式执行梯度下降、单层Transformer学习线性函数等）表明，Transformer的训练过程与梯度下降优化密切相关。这些工作从不同角度揭示了Transformer如何通过梯度下降学习到有效的表示和优化策略，为理解其因果发现能力提供了理论基础。
实际应用与局限
该方法为NLP和推荐系统等任务提供了因果解释，有助于提升模型的可解释性。然而，其有效性依赖于注意力机制能否准确估计结构方程模型，且目前仅在有限任务上验证。未来需进一步探索在更复杂场景下的适用性，并考虑计算成本和潜在偏差。
Q&A
Transformer的自注意力机制如何被解释为因果结构学习？
文章提出将自注意力解释为一种估计输入符号序列的结构方程模型的机制，该模型可视为输入序列特定上下文下的因果结构。通过计算最深层注意力中相应表示之间的偏相关，可以估计输入符号之间的条件独立关系，进而使用基于约束的算法学习因果结构。
预训练Transformer如何用于零样本因果发现？
根据文章，通过将自注意力解释为结构方程模型，并计算深层注意力表示的偏相关来估计条件独立关系，现有的预训练Transformer可以被用于零样本因果发现，无需额外训练即可学习输入序列上的因果结构。
这种因果解释在哪些任务上得到了验证？
文章通过为两个任务提供因果解释来演示这种方法：自然语言处理中的情感分类和推荐任务。
为什么这种因果解释在存在潜在混淆变量时仍然有效？
文章指出，与潜在混淆变量相比，该解释仍然有效。这意味着即使存在未观察到的混淆因素，将自注意力视为结构方程模型的方法依然能够正确估计因果结构。
如何从Transformer的注意力中估计条件独立关系？
文章通过计算最深层注意力中相应表示之间的偏相关来估计输入符号之间的条件独立关系。偏相关可以反映在控制其他变量后两个变量之间的相关性，从而用于推断条件独立。
基于约束的算法如何利用Transformer学习因果结构？
在估计出输入符号之间的条件独立关系后，可以使用现有的基于约束的算法来学习输入序列上的因果结构。这些算法利用条件独立关系作为约束来构建因果图。
