本文介绍了Find+Replace变压器架构，证明其在挑战性任务上优于GPT-4，并为多变压器架构提供理论基础。作者证明了传统transformers不是图灵完备的，但Find+Replace变压器是。该架构能够完成传统变压器无法完成的任务，并有助于解释性研究。本文鼓励进一步探索该领域。