ReAlnet: 通过人脑神经表征对齐实现更加人类大脑类似的视觉
内容提要
该文综述神经网络与人类认知表示的对齐研究，提出统一框架，梳理认知科学、神经科学和机器学习文献。研究发现模型规模和架构影响不大，训练数据与目标函数更关键；线性转换可提升一致性。相关工作报告了脑电解码、fMRI预测、图像重构及类人视觉注意力等进展。
延伸解读
模型规模与架构并非对齐关键
文章指出，神经网络与人类认知表示的对齐程度受模型规模和架构影响不大，而训练数据集和目标函数的影响更为显著。这意味着，单纯增大模型或更换架构未必能提升与人类认知的相似性，研究者和开发者应更关注训练数据的选择与目标函数的设计。
线性转换提升对齐一致性
研究发现，对神经网络表示进行线性转换有助于提高与人类相似性判断的一致性。这表明，即使模型内部表示与人类认知存在差异，通过简单的线性映射也可能改善对齐效果，为跨系统表示比较提供了一种实用手段。
大规模数据仍难满足人类认知需求
尽管使用规模和多样性更大的数据集训练模型，这些模型仍不能满足人类认知表示的需求。这说明，当前的数据驱动方法在捕捉人类认知的复杂特性方面存在局限，仅靠增加数据量可能无法完全弥合人工与生物系统之间的表示差距。
统一框架促进跨学科合作
文章提出了一个统一的框架，作为认知科学、神经科学和机器学习领域研究表示对齐的共同语言。该框架有助于整合不同领域的文献，明确开放问题，并推动跨学科合作，从而加速信息处理系统的研究进展。
Q&A
神经网络与人类认知表示对齐时，哪些因素影响最大？
研究发现模型规模和架构对齐性没有实质性影响，而训练数据集和目标函数对齐性有更大的影响。
线性转换如何帮助神经网络表示与人类相似性判断对齐？
研究发现，神经网络表示的线性转换有助于提高与人类相似性判断的一致性。
Net2Brain 工具箱的主要功能是什么？
Net2Brain 是一个用于比较深度神经网络（DNN）和人脑记录的表征空间的图形和命令行用户界面工具箱，可以提取超过 600 个 DNN 的激活，计算代表性的差异矩阵（RDMs）并将其与大脑记录进行比较，从而测试认知神经科学的假设。
VISION 模型在预测大脑 fMRI 反应方面取得了什么成果？
通过使用具有视觉和上下文输入的多模态模型 VISION，成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能 45％，并揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联。
NeuroImagen 流程用于什么任务？效果如何？
NeuroImagen 是一个综合流程，用于从动态的脑电信号（EEG 信号）中重构高分辨率的视觉刺激图像，并通过多层次的感知信息解码提取实用信息，实验结果表明该方法在图像重构方面具有显著的效果和卓越的定量性能。
神经视觉注意力算法（NeVA）有什么优势？
NeVA 利用仿生视觉约束在神经网络上实现了类人的扫描路径生成，在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。
