神经网络中的维度抽象的关系归纳偏好
内容提要
认知科学的核心难题是如何从有限经验中获取抽象概念。研究提出“关系瓶颈”归纳偏置，能数据高效地诱导抽象，可能成为人类抽象概念获取的候选模型。多项研究利用关系归纳偏置、图网络和关系神经网络提升了关系推理与分布外泛化能力，并发现大模型展现出更类人的几何抽象能力。
延伸解读
关系瓶颈：数据高效抽象的归纳偏置
文章提出“关系瓶颈”作为一种归纳偏置，通过将关系信息与感觉信息分隔，迫使模型学习抽象关系，从而在数据有限的情况下高效诱导抽象概念。这一机制被认为可能模拟人类思维和大脑中抽象概念的获取过程，为认知科学的核心难题提供候选解释。
关系归纳偏置在结构化任务中的优势
多项研究表明，引入关系归纳偏置能显著提升模型在结构化推理任务中的表现。例如，在建塔任务中，使用物体及关系中心的视觉与策略表达方式的深度强化学习代理，能够超越人类和其他机器学习方法，说明关系归纳偏置对解决结构化推理问题至关重要。
大模型展现更类人的几何抽象能力
认知科学曾认为神经网络缺乏人类几何抽象能力，但近期研究发现，经过大规模预训练的标准架构模型开始表现出对复杂性、规律性以及部分与关系的感知敏感性，在几何视觉处理任务中更接近人类。这表明模型规模和训练数据量的扩展可能带来抽象能力的涌现。
特征表示瓶颈与复杂度调控
深度神经网络存在特征表示瓶颈，倾向于编码过于简单或过于复杂的交互，而难以学习中等复杂度的交互。文章指出可通过调整表示分布的熵或设计特定损失函数来促进或惩罚特定复杂度的交互学习，从而支持模型在下游任务中达到最佳微调性能。
Q&A
什么是关系瓶颈归纳偏置？
关系瓶颈归纳偏置是一种通过将关系和感觉信息分隔，以数据高效的方式诱导抽象概念的归纳偏置，被认为是人类思维和大脑中抽象概念获取的候选模型。
关系归纳偏置如何提升神经网络的推理能力？
关系归纳偏置通过引入结构化表示和计算，如使用图网络、关系神经网络等，支持关系推理和组合泛化，从而提升分布外泛化能力和推理性能。
有哪些模型或方法利用了关系归纳偏置？
包括Compositional Relational Network (CoRelNet)、图网络、关系神经网络、基于关系随机游走的特征和参数共享的关系神经网络，以及结合关系逻辑表示和神经网络学习的方法等。
大型预训练神经网络在几何抽象方面表现如何？
大型预训练神经网络模型在几何视觉处理中表现出更类似人类的抽象几何处理能力，包括对复杂性、规律性和部分与关系的感知敏感性。
深度神经网络在特征表示上存在什么瓶颈？
深度神经网络更可能编码过于简单和过于复杂的交互，而通常无法学习中等复杂度的交互，这被称为特征表示瓶颈。
如何通过调整表示复杂度来提升微调性能？
通过调整表示分布的熵，训练神经模型生成一系列离散表示，将表示调整到任务适当复杂度水平，可以支持最高微调性能，并通过可视化帮助识别适当复杂度水平。
