位置知识是一切所需：面向操作员学习的位置感知变压器 (PiT)
原文中文，约200字，阅读约需1分钟。发表于：。该论文提出了一种基于创新的位置注意机制构建的位置诱导变压器 (PiT)，相比经典的自注意力，PiT 在算子学习中表现出显著优势，并且在各种复杂算子学习任务和不同的偏微分方程基准测试中，PiT 在当前最先进的神经算子方法中展现出卓越性能。
本文提出了翻译不变的自注意力模型（TISA），通过考虑标记之间的相对位置，解决了现有语言模型的位置嵌入问题。实验结果显示，TISA在GLUE任务上的性能优于ALBERT模型。
