量子位
·
李飞飞一年前究竟说了啥？怎么又火了
💡
原文中文，约2200字，阅读约需6分钟。
📝
内容提要
李飞飞指出，大语言模型在理解物理世界方面存在局限，因其主要依赖一维语言信号，而物理世界是三维的。尽管模型能处理语言任务，但在空间智能和物理推理上表现不佳，无法真正理解物理现象。这引发了对模型结合物理与多模态理解的讨论。
🎯
关键要点
-
李飞飞指出大语言模型在理解物理世界方面存在局限，主要依赖一维语言信号。
-
物理世界是三维的，模型在空间智能和物理推理上表现不佳，无法真正理解物理现象。
-
语言模型的底层表示是一维的，处理空间智能问题时存在本质差异。
-
多模态大语言模型在处理3D数据时可能造成信息损失，无法很好表示物理世界。
-
实验表明，基于语言信号训练的模型在物理任务中表现不如人类儿童。
-
大模型在物理推理测试中的正确率较低，显示其并不真正理解物理。
-
视觉任务测试显示大模型在视觉感知上远不及人类。
-
讨论中有人反驳李飞飞的观点，认为语言描述现实的能力可能优于感知。
-
部分观点认为人工智能可能创造出自己的语言来理解物理世界。
❓
延伸问答
李飞飞对大语言模型的局限性有什么看法？
李飞飞认为大语言模型在理解物理世界方面存在局限，主要依赖一维语言信号，而物理世界是三维的，因此在空间智能和物理推理上表现不佳。
大语言模型在物理任务中的表现如何？
实验表明，基于语言信号训练的模型在物理任务中的表现远不及人类儿童，尤其在处理稍难的任务时表现不佳。
为什么大语言模型难以理解物理现象？
因为大语言模型的底层表示是一维的，处理空间智能问题时与物理世界的三维本质存在本质差异，导致信息损失。
李飞飞的观点引发了哪些讨论？
李飞飞的观点引发了关于语言模型是否能真正理解物理世界的讨论，有人反驳她的观点，认为语言描述现实的能力可能优于感知。
大语言模型在视觉任务中的表现如何？
在视觉任务测试中，大模型的正确率最高仅为51%，远低于人类的95.7%，显示出其在视觉感知上的不足。
未来大语言模型的发展方向是什么？
未来大语言模型的发展可能会扩展到结合物理与多模态理解，以更好地处理三维数据和空间智能问题。
➡️
