朝向因果基础模型:因果推断与注意力之间的二元性
原文中文,约300字,阅读约需1分钟。发表于: 。基于理论结果我们提出了一种新的方法 Causal Inference with Attention (CInA),它基于多个无标签数据集进行自监督因果学习,在训练完成的 transformer-type 架构的最后一层通过理论上的最优协变量平衡与自注意机制之间的原始 - 对偶关系来实现对未知任务的零样本因果推断。实证结果表明,我们的方法 CInA...
该文介绍了一种新的因果推断方法CInA,它基于多个无标签数据集进行自监督学习,并通过理论上的最优协变量平衡与自注意机制实现对未知任务的零样本因果推断。实验结果表明,CInA能够在分布外数据集和各种真实世界数据集上有效推广,并且与传统的因果推断方法相匹配甚至超越。