利用数据集制图来提高 Transformer 中的组合泛化能力
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该文章提出了一种基于数据分布的组合建模通用框架,可用于数据增强,获得最先进的结果。
🎯
关键要点
- 提出了一种基于数据分布的组合建模通用框架。
- 证明了针对可分解任务存在一族数据转换函数。
- 可以在训练数据上生成新的、格式正确的例子。
- 即使在未知组合函数的情况下,也能识别数据转换。
- 对普通 RNN 和转换器序列模型进行数据增强。
- 在 CLEVR-CoGenT 视觉问答数据集上获得最先进的结果。
- 在 COGS 语义分析数据集上获得与专用模型架构相当的结果。
🏷️
标签
➡️