这篇论文探讨了Transformer模型的电路复杂度及其计算能力，证明了其在形式语言上的限制。研究表明，Transformer的复杂性与输入规模相关，自注意力层的数量影响推理能力。提出了新的计算方法以降低计算复杂度，提高大型语言模型的训练效率。

该文综述Transformer计算能力研究：证明其可由常深度对数空间电路模拟，若L≠P则无法精确求解线性等式或上下文无关语法成员问题，揭示并行化模型的固有局限；并探讨注意力复杂度、线性注意力、门控注意力及通用逼近性等改进方向。

该研究发现，电路复杂度下，基于模型和无模型的强化学习在表示复杂度方面存在差异，模型为基础的算法表现更好。