量子位
·
大模型能够自发形成“人类思维地图”！Nature子刊重磅研究揭示多模态大模型类脑机制
💡
原文中文，约4100字，阅读约需10分钟。
📝
内容提要
研究发现，多模态大语言模型（MLLMs）能够自发形成类似于人类的物体概念表征。通过行为实验和神经影像分析，构建了AI模型的“概念地图”，揭示了AI的认知结构与人类的相似性，推动了机器理解的研究进展。
🎯
关键要点
- 多模态大语言模型（MLLMs）能够自发形成与人类相似的物体概念表征。
- 研究通过行为实验和神经影像分析构建了AI模型的'概念地图'。
- 传统AI研究关注物体识别准确率，缺乏对模型理解能力的探讨。
- 研究提出三个关键问题：表征相似性、语义可解释性和神经对应性。
- 采用三选一异类识别任务分析470万次行为判断数据。
- 研究发现AI模型的低维嵌入结构与人类认知结构相似。
- 模型自发形成18个高级物体概念类别，分类准确率接近人类。
- AI模型的认知维度被赋予语义标签，增强可解释性。
- MLLM的表征与人类大脑神经活动模式显著相关。
- 大模型在行为选择模式上更接近人类，表现出更高的一致性。
- 人类在决策时更依赖视觉特征和语义信息，而模型则侧重语义标签。
- 研究具有广泛应用前景，包括类脑智能、神经科学和脑机接口。
- 下一步将拓展至新一代多模态大模型，建立认知基准测试平台。
- 团队正在招收博士生和硕士生，研究方向包括脑机接口和类脑智能。
❓
延伸问答
多模态大语言模型（MLLMs）如何形成与人类相似的物体概念表征？
MLLMs通过行为实验和神经影像分析，自发形成与人类高度相似的物体概念表征系统，构建了AI模型的'概念地图'。
研究中提到的三个关键问题是什么？
三个关键问题是表征相似性、语义可解释性和神经对应性。
AI模型的分类准确率与人类相比如何？
AI模型的分类准确率达78.3%，接近人类的87.1%，显著高于传统视觉模型。
研究发现AI模型的认知维度与人类大脑活动有什么关系？
研究发现MLLM的表征与大脑类别选择区域的神经活动模式显著相关，预测神经活动的准确度达到人类水平的85%。
人类和大模型在决策时依赖的主要维度有什么不同？
人类更倾向于结合视觉特征和语义信息，而大模型则侧重于语义标签和抽象概念。
这项研究的应用前景有哪些？
研究具有广泛应用前景，包括类脑智能、神经科学和脑机接口等领域。
➡️
