本文介绍了一种名为门控位置自注意力的机制，它结合了卷积神经网络的空间学习和自注意力层的位置不变性。作者使用这种机制构建了混合卷积 - 自注意力神经网络 ConViT，并在 ImageNet 数据集上进行了实验，结果表明该网络在图像分类任务上表现出色，具有更高的样本效率和对定位特征的更好注意力。