极道
·
一个Transformer不是图灵完备的，但两个是
💡
原文中文，约1100字，阅读约需3分钟。
📝
内容提要
本文介绍了Find+Replace变压器架构，证明其在挑战性任务上优于GPT-4，并为多变压器架构提供理论基础。作者证明了传统transformers不是图灵完备的，但Find+Replace变压器是。该架构能够完成传统变压器无法完成的任务，并有助于解释性研究。本文鼓励进一步探索该领域。
🎯
关键要点
- Find+Replace变压器架构在挑战性任务上优于GPT-4。
- 传统transformers和类似架构不是图灵完备的，而Find+Replace变压器是图灵完备的。
- Find+Replace变压器能够完成传统变压器无法完成的任务。
- 该架构有助于可解释性研究。
- 本文旨在为多变压器架构提供理论基础，并鼓励进一步研究。
➡️
