自回归才是核心架构革新

💡 原文中文,约700字,阅读约需2分钟。
📝

内容提要

作者认为,大模型思维的核心并非Transformer的注意力机制,注意力只是降低了训练复杂度;真正让思维诞生的是自回归——推理无法并行,步骤间存在因果依赖。经典AI依赖搜索,但搜索需要可遍历的候选空间,开放任务却写不出候选清单,因此失效。自回归每次只搜索一层,把结果并入问题再继续,使上下文变长、剩余问题变小,实现“写作即思考”。注意力负责读懂问题,自回归负责解决问题,且不可替代。

🏷️

标签

➡️

继续阅读