量子位
·
大模型能够自发形成“人类思维地图”！Nature子刊重磅研究揭示多模态大模型类脑机制
内容提要
研究发现，多模态大语言模型（MLLMs）能够自发形成类似于人类的物体概念表征。通过行为实验和神经影像分析，构建了AI模型的“概念地图”，揭示了AI的认知结构与人类的相似性，推动了机器理解的研究进展。
关键要点
-
多模态大语言模型（MLLMs）能够自发形成与人类相似的物体概念表征。
-
研究通过行为实验和神经影像分析构建了AI模型的'概念地图'。
-
传统AI研究关注物体识别准确率，缺乏对模型理解能力的探讨。
-
研究提出三个关键问题：表征相似性、语义可解释性和神经对应性。
-
采用三选一异类识别任务分析470万次行为判断数据。
-
研究发现AI模型的低维嵌入结构与人类认知结构相似。
-
模型自发形成18个高级物体概念类别，分类准确率接近人类。
-
AI模型的认知维度被赋予语义标签，增强可解释性。
-
MLLM的表征与人类大脑神经活动模式显著相关。
-
大模型在行为选择模式上更接近人类，表现出更高的一致性。
-
人类在决策时更依赖视觉特征和语义信息，而模型则侧重语义标签。
-
研究具有广泛应用前景，包括类脑智能、神经科学和脑机接口。
-
下一步将拓展至新一代多模态大模型，建立认知基准测试平台。
-
团队正在招收博士生和硕士生，研究方向包括脑机接口和类脑智能。
延伸解读
AI与人类认知的相似性
研究表明，多模态大语言模型（MLLMs）在物体概念表征上与人类认知结构高度相似。这一发现不仅挑战了传统对AI的理解，也为未来的类脑智能研究提供了新的视角，强调了机器理解能力的重要性。
研究方法的创新性
本研究采用了行为实验与神经影像分析相结合的方法，构建了AI模型的“概念地图”。这种创新的“行为认知探针”方法为理解AI的认知特性提供了新的路径，尤其是在分析闭源模型时具有重要意义。
AI决策与人类的差异
尽管大模型在某些决策任务上表现出与人类相似的选择模式，但研究发现人类更依赖视觉特征和语义信息，而AI则侧重于语义标签。这一差异反映了当前AI在模仿人类决策过程中的局限性，未来的研究需关注如何缩小这一差距。
延伸问答
多模态大语言模型（MLLMs）如何形成与人类相似的物体概念表征？
MLLMs通过行为实验和神经影像分析，自发形成与人类高度相似的物体概念表征系统，构建了AI模型的'概念地图'。
研究中提到的三个关键问题是什么？
三个关键问题是表征相似性、语义可解释性和神经对应性。
AI模型的分类准确率与人类相比如何？
AI模型的分类准确率达78.3%，接近人类的87.1%，显著高于传统视觉模型。
研究发现AI模型的认知维度与人类大脑活动有什么关系？
研究发现MLLM的表征与大脑类别选择区域的神经活动模式显著相关，预测神经活动的准确度达到人类水平的85%。
人类和大模型在决策时依赖的主要维度有什么不同？
人类更倾向于结合视觉特征和语义信息，而大模型则侧重于语义标签和抽象概念。
这项研究的应用前景有哪些？
研究具有广泛应用前景，包括类脑智能、神经科学和脑机接口等领域。
