文章围绕LeCun对Transformer的四大批判展开:自回归token空间推理低效、自我改进受限、多模态编码分离、缺乏世界模型。作者结合ResNet、ViT寄存器token、Coconut潜空间推理等研究,指出模型正自发形成连续隐表示,类似人类默会知识与隐喻思维。最终提出:若寄存器token能跨会话沉淀为共享符号,或可突破自回归局限,迈向AGI。
完成下面两步后,将自动完成登录并继续当前操作。