量子位
·
最新研究揭示视觉模型与人脑的对齐机制
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
最新研究表明，视觉模型与人脑的相似性受模型大小、训练数据量和图像类型的影响。DINOv3模型在训练中逐步与人脑表征一致，尤其在使用人类相关图像时效果最佳。研究发现，模型学习的表征层级与大脑结构高度一致，不同特征的出现速度也存在差异。
🎯
关键要点
- 视觉模型与人脑的相似性受模型大小、训练数据量和图像类型影响。
- DINOv3模型在使用人类相关图像时表现最佳，脑相似性评分最高。
- 模型学习的表征层级与大脑结构高度一致，特征出现速度存在差异。
- DINOv3模型在17亿张自然图像上进行训练，评估了不同变体的表现。
- 低级视觉区表征在训练早期获得，高级区域需要更多训练。
- 更大的模型在训练中更快表现出类脑特征，尤其在高级脑区。
- 人类中心图像训练的模型在所有脑区的编码效果更高。
- 半达时间与皮层扩展、厚度、动力学和髓鞘浓度相关，反映出类脑表征的出现顺序。
❓
延伸问答
DINOv3模型的训练数据量有多大？
DINOv3模型在17亿张自然图像上进行训练。
影响视觉模型与人脑相似性的因素有哪些？
影响因素包括模型大小、训练数据量和图像类型。
DINOv3模型在使用什么类型的图像时表现最佳？
DINOv3模型在使用人类相关图像时表现最佳，脑相似性评分最高。
DINOv3模型学习的表征层级与大脑结构有什么关系？
模型学习的表征层级与大脑结构高度一致，特征出现速度存在差异。
模型大小如何影响类脑特征的表现？
更大的模型在训练中更快表现出类脑特征，尤其在高级脑区。
半达时间与皮层特性之间有什么关系？
半达时间与皮层扩展、厚度、动力学和髓鞘浓度相关，反映出类脑表征的出现顺序。
➡️
