本研究探讨变压器网络在符号处理中的机制,提出高层语言PSL用于编写符号程序,并证明其图灵完备性,为提升变压器的符号处理能力提供新思路。
研究显示,变压器在序列映射中表现出强大能力。通过扩展RASP语言,证明变压器能计算一阶有理函数和多正则函数。B-RASP和S-RASP增强了计算能力,支持位置和算术运算。掩码平均硬注意力变压器可模拟S-RASP,证明变压器解码器具备图灵完备性。
研究发现有界时间的第二阶循环神经网络具备图灵完备性,能够在有界权重和时间约束下实现有界时间计算,优于传统循环神经网络和门控循环单元等现代模型。这一发现为循环神经网络的理论基础拓展提供了方向,也为未来可解释人工智能的研究提供了希望。
完成下面两步后,将自动完成登录并继续当前操作。