介绍了基于Transformer的模型SyntaGuid，用于改进源代码建模任务。通过细调注意权重，提高源代码语法标记和抽象语法树元素的识别，无需额外数据。实验证明其性能提升，突显潜力。

我们提出了一种用于句子分类的Squeeze-and-Excitation卷积神经网络（SECNN），通过多个CNN的特征图作为句子表示的不同通道，并结合通道注意机制（SE attention mechanism）学习不同通道特征的注意权重，实现了先进的句子分类性能。