人类存在即时泛化，而深度神经网络存在泛化滞后 —— 对表示分化的证据？
内容提要
多项研究比较了人类视觉与深度神经网络在图像识别中的差异：人类对图像失真更鲁棒，而DNN泛化能力较差，错误模式随信号减弱而分离；模型规模影响有限，训练数据与目标函数的对齐更为关键；DNN的颜色知觉与人类判断显著不同，认知模型预测更准确。
延伸解读
人类与DNN泛化差异的关键证据
文章指出，人类视觉系统对图像失真更鲁棒，而DNN在信号变弱时错误模式与人类逐渐分离。这表明两者在视觉识别上存在显著差异，且DNN的泛化能力受噪声分布变化影响大，成为关键挑战。
模型规模并非决定因素
研究发现，模型规模和架构对齐性对神经网络表示与人类认知表示的对齐没有实质性影响，而训练数据集和目标函数的对齐性影响更大。这意味着提升模型与人类相似性，应更关注数据与目标函数的匹配，而非单纯扩大规模。
颜色知觉：DNN与人类的显著差距
在颜色相似性判断上，包括CNN和视觉变换器在内的先进DNN与人类判断存在显著差异。基于小波分解的认知模型反而能更好地预测人类颜色判断，说明当前DNN在捕捉人类视觉基本方面仍有不足。
对鲁棒DNN发展的启示
文章强调，与人类视觉表现的比较有助于指导未来更具鲁棒性的DNN发展。利用失真图像直接训练虽可在特定测试下超越人类，但泛化能力差，需借助终身机器学习等方法系统化解决。
Q&A
人类视觉系统和深度神经网络在图像退化下的泛化能力有什么主要差异？
人类视觉系统对图像处理更加鲁棒，而深度神经网络在图像失真下泛化能力较差，且当信号变弱时，两者的分类误差模式逐渐分离。
为什么深度神经网络在图像识别任务中泛化能力差？
深度神经网络无法适应噪声分布的变化，当测试不同类型的失真图像时，泛化能力极差，这是深度学习视觉系统面临的关键挑战。
哪些因素影响神经网络表示与人类认知表示的对齐？
模型规模和架构对齐性没有实质性影响，而训练数据集和目标函数对齐性有更大的影响。
深度神经网络在颜色知觉方面与人类有何不同？
最先进的DNN架构（包括卷积神经网络和视觉变换器）提供的颜色相似性判断与人类存在显著差异，而基于小波分解的认知模型能更好地预测人类颜色判断。
如何提高深度神经网络的泛化能力？
可以利用失真图像直接训练深度学习神经网络，在恰当测试条件下表现优于人类；也可采用终身机器学习方法系统化解决泛化挑战。
语言在塑造人类认知中起什么作用？
深度学习模型从文本和图像数据中训练得到的表示方式优于仅从图像中训练得到的表示方式，强调了语言在塑造人类认知中的作用。
