量子位
·
李飞飞一年前究竟说了啥？怎么又火了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
李飞飞指出，大语言模型在理解物理世界方面存在局限，因其主要依赖一维语言信号，而物理世界是三维的。尽管模型能处理语言任务，但在空间智能和物理推理上表现不佳，无法真正理解物理现象。这引发了对模型结合物理与多模态理解的讨论。
🎯
关键要点
- 李飞飞指出大语言模型在理解物理世界方面存在局限，主要依赖一维语言信号。
- 物理世界是三维的，模型在空间智能和物理推理上表现不佳，无法真正理解物理现象。
- 语言模型的底层表示是一维的，处理空间智能问题时存在本质差异。
- 多模态大语言模型在处理3D数据时可能造成信息损失，无法很好表示物理世界。
- 实验表明，基于语言信号训练的模型在物理任务中表现不如人类儿童。
- 大模型在物理推理测试中的正确率较低，显示其并不真正理解物理。
- 视觉任务测试显示大模型在视觉感知上远不及人类。
- 讨论中有人反驳李飞飞的观点，认为语言描述现实的能力可能优于感知。
- 部分观点认为人工智能可能创造出自己的语言来理解物理世界。
➡️
