本文探讨了一种基于Transformer的语言模型，提出了一种新的上下文词表示模型，以弥补传统方法与神经方法之间的差距。研究分析了Transformer在处理全局与上下文信息时的权衡，指出其局限性及在长上下文中的重要性，并提出了可视化工具以理解其语义结构。

本文提出了一种全卷积网络用于迭代非盲去卷积，能够学习自适应的图像先验，保持局部和全局信息。经评估表明，该方法在质量和速度方面表现优异，可胜任同类算法。

该文介绍了DualToken-ViT视觉变换模型，它融合局部和全局信息，使用位置感知的全局标记来丰富全局信息，改进了图像的位置信息。在图像分类、物体检测和语义分割任务上进行广泛实验，展示了DualToken-ViT的有效性。