Yann LeCun说自回归要完,但DeepMind这篇论文却证明自回归能实现通用计算

Yann LeCun说自回归要完,但DeepMind这篇论文却证明自回归能实现通用计算

💡 原文中文,约4800字,阅读约需12分钟。
📝

内容提要

DeepMind和阿尔伯塔大学的研究显示,自回归大型语言模型(LLM)无需外部干预即可实现通用计算。尽管Yann LeCun对此持怀疑态度,研究通过扩展自回归解码,证明LLM能模拟图灵机。使用Lag系统和特定提示词,gemini-1.5-pro-001模型在贪婪解码下执行复杂规则,挑战了传统看法。

🎯

关键要点

  • DeepMind和阿尔伯塔大学的研究表明,自回归大型语言模型(LLM)无需外部干预即可实现通用计算。
  • Yann LeCun对自回归模型持怀疑态度,认为其未来不乐观。
  • 研究论文标题为《Autoregressive Large Language Models are Computationally Universal》。
  • 研究探讨了无辅助的LLM是否能模拟通用图灵机,结果显示可以。
  • 研究团队提出了一种扩展自回归解码的方法,能够处理任意长度的输入字符串。
  • 通过Lag系统的变体,研究证明了任意图灵机可以通过受限的Lag系统模拟。
  • 研究开发了特定的提示词,使gemini-1.5-pro-001模型能够在贪婪解码下执行复杂规则。
  • 最终结论是,gemini-1.5-pro-001在扩展自回归解码条件下是一台通用计算机。
➡️

继续阅读