这篇论文探讨了Transformer模型的电路复杂度及其计算能力，证明了其在形式语言上的限制。研究表明，Transformer的复杂性与输入规模相关，自注意力层的数量影响推理能力。提出了新的计算方法以降低计算复杂度，提高大型语言模型的训练效率。

该研究发现，电路复杂度下，基于模型和无模型的强化学习在表示复杂度方面存在差异，模型为基础的算法表现更好。