本研究探讨变压器网络在符号处理中的机制，提出高层语言PSL用于编写符号程序，并证明其图灵完备性，为提升变压器的符号处理能力提供新思路。

我们提出了Pointer-Augmented Neural Memory (PANM)，用于处理更长的数据序列。PANM包含外部神经记忆，使用指针操作技术模拟符号处理能力。PANM通过端到端训练学习执行指针分配、解引用和算术运算等操作，提供动力给各种顺序模型。实验证明PANM在超长推断和符号处理任务中表现出色，帮助Transformer在组合学习任务中达到100%泛化准确率，并在数学推理、问答和机器翻译任务中取得显著改进。