超越自学习的注意力：使用注意力指导减轻基于 Transformer 的模型中的注意偏差
内容提要
该文综述将句法结构注入Transformer的研究，包括语法指导自注意力、句法局部语义注意力、SG-Trans注入局部与全局句法、依赖感知自注意力等，以提升机器翻译与代码摘要性能；并分析CodeBERT注意力与语法表征，用共指监督增强长距离推理。
延伸解读
句法注入的多种技术路径
文章综述了将句法结构注入Transformer的多种方法，包括语法指导自注意力、句法局部语义注意力、SG-Trans和依赖感知自注意力等。这些方法的核心是引入外部句法信息作为归纳偏置，引导注意力机制关注语法相关的词，而非仅依赖位置距离。不同方法在注入方式和作用层次上各有侧重，为后续研究提供了技术参考。
在机器翻译与代码摘要中的实证效果
多项实验表明，句法注入能提升机器翻译和代码摘要的性能。例如，语法指导自注意力在多个翻译数据集上持续改进；SG-Trans在代码摘要任务上METEOR得分分别提升1.4%和2.0%；依赖感知自注意力在长句和低资源场景下效果显著。这些结果说明句法信息对序列生成任务具有实际价值。
CodeBERT的语法表征与注意力分析
针对CodeBERT的研究发现，除了注意力权重，输入的缩放变换规范能更好地捕捉语法结构，这揭示了模型嵌入语法代码属性的特征。另一项工作则分析了CodeBERT基于AST和静态分析学习代码语法与语义的能力，强调了自注意力机制的关键作用。这些分析为理解神经代码模型和开发更可解释的模型奠定了基础。
共指监督增强长距离推理
文章提到，将共指信息作为辅助监督注入预训练模型，能提升复杂长距离推理任务的表现，甚至超过参数量更大的GPT-2模型。这表明，除了句法结构，其他语言学知识（如共指）也能通过辅助监督的方式有效增强Transformer的推理能力，为模型设计提供了新思路。
Q&A
有哪些方法可以将句法结构注入Transformer模型？
文章综述了多种方法，包括语法指导自注意力、句法局部语义注意力、SG-Trans注入局部与全局句法、依赖感知自注意力等。
SG-Trans方法在代码摘要任务中表现如何？
SG-Trans通过将本地符号信息和全局句法结构注入Transformer的自注意模块，在代码摘要任务上，相比最佳基准在两个数据集上分别提高了1.4%和2.0%的METEOR得分。
CodeBERT的注意力机制如何捕捉代码的语法结构？
研究发现，除了注意力权重之外，输入的缩放变换规范更好地捕捉到语法结构，揭示了CodeBERT嵌入语法代码属性的特征。
如何利用共指信息提升模型的长距离推理能力？
通过将共指信息作为辅助监督注入到预训练模型中，能够提升模型在需要进行复杂和长距离推理的任务中的表现，甚至超过最大的GPT-2模型，且参数量更少。
依赖感知自注意力机制在机器翻译中有什么优势？
依赖感知自注意力机制无需参数，能够提高翻译质量，特别是在长句子和低资源情况下，并在WMT英德、英土和WAT英日翻译任务中展示了有效性。
语法指导的本地化自注意力Transformer如何提升翻译性能？
该方法允许直接从外部成分句法分析器中加入语法结构，禁止注意机制通过加权距离较远但语法正确的令牌而不是接近的令牌，从而在从小到大不同规模的机器翻译数据集上持续提高翻译性能。
