显式表示语法提升预测意外情境下的句子布局
内容提要
该文综述多项研究，探讨利用句法结构提升图像说明与语言模型的组合泛化能力。方法包括联合建模标记与句法标签、多任务自编码器、句向量组合语义提取、Syntactic Attention、依存分析筛选句对等，实验显示可显著改善句子表示、分类与序列标注性能。
延伸解读
句法结构如何提升组合泛化能力
文章综述的多项研究表明，显式引入句法结构能显著提升模型在意外情境下的组合泛化能力。例如，同时建模标记和句法标签可增强RNN和Transformer的泛化性；Syntactic Attention通过分离语法与语义学习，在SCAN数据集上表现优于标准深度学习方法。这些方法共同指向一个思路：让模型不仅学习词汇共现，还理解句法组合规则，从而在未见过的组合中也能正确预测句子布局。
多任务学习与表示空间的句法聚类
训练多任务自动编码器进行语言任务时，加入翻译和词性解码器会显著改变句子的隐藏表示。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子探索表示空间，甚至能生成许多具有可识别句法结构的伪英语句子。这表明多任务监督能促使模型学习到更结构化的表示，而差分向量操作可对句子进行有意义的句法变换。
从句子表示到图像说明的跨模态应用
文章还探讨了句法结构在跨模态任务中的应用。例如，利用Transformers、成分句法树、常识和视觉空间信息将文本转化为图像序列，可提高生成图像的质量和一致性；通过图形分解和增强框架进行对比学习，并挖掘负样本以改善场景图中的属性绑定和关系理解。这些工作说明，句法结构不仅有助于语言表示，也能提升图像说明等跨模态任务的组合泛化能力。
Q&A
如何利用句法结构提升图像说明中的组合泛化能力？
通过规划标题的句法结构，并同时建模标记和句法标签，可以增强RNN和Transformer模型的泛化能力，同时提高标准指标的性能。
多任务自动编码器在语言任务中有什么作用？
训练多任务自动编码器可以分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示会显著改变；使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。
Syntactic Attention模型相比标准深度学习方法有什么优势？
Syntactic Attention采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，在具有组成性泛化任务的数据集SCAN上表现显著优于标准深度学习方法。
如何通过句向量提取组合语义信息？
利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集，从而能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。
依存分析如何用于筛选高质量的句子对？
利用依存分析和基于规则的指标，通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作BERT等更大型模型的监督微调数据集。
联合学习标记句子和标记令牌的架构有什么效果？
该架构通过注意力机制将每个级别的预测组合，其中令牌级别的标签也作为显式监督来合成句子级别的表示。实验结果表明，通过在多个级别上联合执行这些任务，模型在句子分类和序列标记方面都取得了实质性的改进。
