利用数据集制图来提高 Transformer 中的组合泛化能力
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该文章提出了一种基于数据分布的组合建模通用框架,可用于数据增强,获得最先进的结果。
🎯
关键要点
-
提出了一种基于数据分布的组合建模通用框架。
-
证明了针对可分解任务存在一族数据转换函数。
-
可以在训练数据上生成新的、格式正确的例子。
-
即使在未知组合函数的情况下,也能识别数据转换。
-
对普通 RNN 和转换器序列模型进行数据增强。
-
在 CLEVR-CoGenT 视觉问答数据集上获得最先进的结果。
-
在 COGS 语义分析数据集上获得与专用模型架构相当的结果。
🏷️