Register Token以及对变形金刚AI的四大批判
内容提要
文章围绕LeCun对Transformer的四大批判展开：自回归token空间推理低效、自我改进受限、多模态编码分离、缺乏世界模型。作者结合ResNet、ViT寄存器token、Coconut潜空间推理等研究，指出模型正自发形成连续隐表示，类似人类默会知识与隐喻思维。最终提出：若寄存器token能跨会话沉淀为共享符号，或可突破自回归局限，迈向AGI。
延伸解读
从寄存器 token 到潜空间推理：模型自发的连续表示
文章指出，ViT 中的寄存器 token 能吸收异常高范数 token，让注意力更干净；文本模型也有类似机制，如 Pause/Filler tokens、Gist tokens 和 Coconut 潜空间推理。这些现象共同表明，模型正在自发形成连续的隐表示，而非依赖离散 token。这种表示更高效灵活，但可解释性变差，是当前 AI 安全关注的权衡点。
人类默会知识与 AI 暗语：连续符号的共鸣
作者将模型的连续隐表示类比为人类的默会知识——如猎人直觉、工匠技艺，难以言传却可意会。Coconut 的灵感也来自神经科学：语言区域并非思考本身。多智能体强化学习中的涌现通信更直接：AI 会发展出人类读不懂的暗号来协作。这提示我们，非语言的连续符号可能是智能体间高效但不透明的沟通方式。
串行分类器的局限与霰弹枪式创造
文章认为，自回归 LLM 本质是串行分类器，每步从词表选一个 token，错误会复合，导致“炼丹抽卡”般的脆弱性。而人类创造更像霰弹枪：大量盲目变异后选择保留，如 BVSR 理论和等概率法则。AI 领域的 Self-Consistency、Tree of Thoughts 等并行采样方法，正是试图将串行单链变为并行候选，以对抗错误复合。
寄存器 token 跨会话沉淀：通向 AGI 的可能路径
作者提出一个猜想：如果寄存器 token 能跨会话沉淀为共享符号，就可能突破自回归局限，形成类似人类语言和文字的符号记忆。这样模型不再只是逐 token 生成，而是在连续表示空间中进行持久化推理。这呼应了 LeCun 对世界模型的倡导，但文章也强调这仍是推测，需要更多研究验证。
Q&A
LeCun对Transformer的四大批判具体是什么？
LeCun的四大批判包括：1. 当前AI系统的推理基于非自回归搜索，但在token空间中进行，这有限且低效；类人推理应在连续表示空间中进行搜索。2. 自我改进方法目前仅适用于输出质量可自动评分的领域，如数学、代码和可精确模拟的场景，其他领域不行。3. 当前AI助手的多模态能力通常使用单独训练的编码器（非LLM），而他认为最佳方式是使用自监督学习训练的JEPA。4. 如果LLM是通向人类级AI的路径，那么现在就应该有家用机器人和消费级L4/L5自动驾驶汽车，但实际并没有。
什么是寄存器token（register token）？它在ViT中有什么作用？
寄存器token是人为添加到输入序列中的可学习token，为模型提供专门的全局计算空间。在ViT中，添加寄存器token后，模型不再需要“借用”图像patch进行全局计算，从而消除了异常高范数的token，使注意力图更干净，并提升了下游任务（如密集预测和目标发现）的性能，且几乎不增加参数和计算量。
Coconut（连续潜空间推理）是如何工作的？它有什么优缺点？
Coconut让模型将上一步的隐藏状态直接作为下一步的输入，不经过解码成词的过程，从而在连续潜空间中进行推理。优点是效率更高、更灵活，能同时编码多条推理路径；缺点是可解释性变差，人类无法像阅读chain-of-thought文字那样理解模型的“思考”过程。
人类默会知识与AI的连续隐表示有什么相似之处？
人类默会知识（如狩猎直觉、工匠技能）是难以用语言精确表达的，而AI的连续隐表示（如Coconut中的思维向量）也是非语言的、对人不透明的。两者都表明，智能体可以在内部形成一套自己使用但难以言传的表示系统，用于高效推理和决策。
为什么说当前LLM的智能本质上是分类器？这有什么局限？
因为自回归LLM每一步都是在词表上做softmax分类，选择下一个token。虽然通过串行组合可以产生组合式创造力，但本质是串行的，容易导致错误复合（如95%正确率串20步只剩36%成功率），且无法像人类那样通过“霰弹枪”式并行生成大量概念来快速覆盖新事物。
如果寄存器token能跨会话沉淀为共享符号，可能带来什么影响？
如果寄存器token能跨会话沉淀为共享符号，它们可能变成新的token，成为共同的符号和记忆，类似于人类语言和文字的知识传承。这或许能让神经网络不再局限于自回归，从而可能迈向AGI。
