大规模预训练神经网络中的人类化几何抽象
内容提要
多项研究比较神经网络与人类认知，发现模型规模影响不大，训练数据和目标函数更关键。视觉语言模型在直觉物理、因果推理和心理理论上仍不如人类。认知心理学方法有助于提升模型可解释性和泛化能力。
延伸解读
模型规模并非关键，数据与目标函数更重要
文章指出，神经网络与人类认知表示的对齐程度受模型规模和架构影响不大，而训练数据集和目标函数对齐性影响更大。这意味着，提升模型类人认知不能仅靠扩大规模，需关注训练数据与目标函数的设计。
视觉语言模型在核心认知领域仍落后于人类
评估显示，当前视觉语言模型在直觉物理、因果推理和心理理论任务上表现不如人类。模型虽能处理视觉数据，但缺乏对物理定律和因果关系的深入理解，在心理理论任务中完全失败。这提示需将因果、物理和社会认知机制整合到模型中。
认知心理学方法助力模型可解释性与泛化
文章提出利用认知心理学的理论、实验和问题描述来研究深度神经网络，例如将儿童学习物体名称的分析应用于模型，发现模型存在类似人类的形状偏好。这些方法有助于揭示模型的隐藏计算属性，提升可解释性和泛化能力。
表示复杂度调整可优化微调性能
通过调整表示分布的熵，训练模型生成离散表示，并在微调实验中发现，将表示调整到任务适当复杂度水平能支持最高微调性能。离散表示的可视化还能帮助用户识别合适的复杂度，为利用人类洞察快速微调模型提供了方向。
Q&A
神经网络与人类认知表示对齐的关键因素是什么？
研究发现，模型规模和架构对齐性没有实质性影响，而训练数据集和目标函数对齐性有更大的影响。
视觉语言模型在哪些认知领域仍不如人类？
在直觉物理、因果推理和直观心理领域，视觉语言模型仍不如人类。它们对物理定律和因果关系有基本理解，但缺乏深入洞察力，在需要直觉心理理论的任务中完全失败。
如何利用认知心理学提升深度神经网络的可解释性？
可以利用认知心理学的问题描述、理论和实验方法来解决深度神经网络的可解释性问题，并将发展心理学中关于儿童如何学习物体名称的分析应用到DNN模型中。
神经网络在抽象任务上的表现与人类相比如何？
在元强化学习范式中，人类在抽象任务上表现比任务合成体更好，而常见神经网络架构在抽象任务上的表现比匹配的任务合成体更差。
调整表示复杂度对模型微调有什么影响？
将表示调整到任务适当复杂度水平支持最高微调性能，离散表示的可视化有助于用户在下游任务中识别适当的复杂度水平。
深度学习如何通过统一几何原理揭示基本规律？
通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等，并可将物理学知识结合到神经网络结构中。
