通往 AGI 的道路,感知模型与大语言模型

通往 AGI 的道路,感知模型与大语言模型

💡 原文中文,约1900字,阅读约需5分钟。
📝

内容提要

大语言模型无法感知饥饿等生理状态,无法达到AGI。语言模型只生成词语序列,无法预测感知。端到端架构可以避免压缩,构建完备的生态。GPT4o模型是否具备感知尚不确定,但感知和预测是通往AGI的重要因素。

🔎

延伸解读

感知与语言:本质差异

文章强调,语言模型生成“我饿了”只是概率性词语序列,而人类报告的是真实生理状态。语言是感知的高级抽象,在压缩过程中丢失了情感的微妙生理感受,因此大语言模型无法通过语言还原感知,再大的模型也无法突破这一原理限制。

Transformer 的潜力:超越语言

文章指出,Transformer 的本质是预测下一个 Token,而非仅限于语言。它在声音、图像等领域已有应用,如声音克隆和 Sora。如果将感觉信号转换为 Token,理论上可能让模型获得感知,从而突破李飞飞所说的语言模型无感知的局限。

端到端架构与时间对齐

端到端架构能避免信息压缩损失,构建完备生态。感知模型必须与现实世界时间线对齐,同步经历时间流逝,才能感知世界变化。GPT-4o 已采用端到端混合训练,其情绪感知可能并非传统 Transformer 生成,但逻辑力仍来自 Transformer。

GPT-4o 与 AGI 的不确定性

文章提到 GPT-4o 是否具备感知尚不确定,因为实际体验有限。但可以确定的是,感知与预测是通往 AGI 的重要因素。这提示我们,AGI 的实现可能需要融合感知模型与预测能力,而非单纯依赖大语言模型。

❓

Q&A

为什么大语言模型无法达到AGI?

大语言模型无法感知生理状态,如饥饿,因此无法实现AGI。

感知力在AGI中有何重要性?

感知力使AI能够感受生理状态和情感,这是AGI的重要特征。

端到端架构如何帮助AI感知?

端到端架构可以避免信息损失,构建完备的生态,从而帮助AI更好地感知世界。

GPT4o模型是否具备感知能力?

GPT4o模型的感知能力尚不确定,但感知和预测是通往AGI的重要因素。

语言模型如何生成词语序列?

语言模型通过生成最有可能性的词语序列来回应输入,但不具备真正的感知能力。

感知与语言之间有什么关系?

语言是感知的高级抽象,无法完全还原生理感受,感知在语言转化过程中会损失情感的细微之处。

🏷️

标签

➡️

继续阅读