深度学习用于视觉神经假肢
内容提要
该文综述深度学习与人类视觉系统的交叉研究：深度卷积神经网络可解码人脑视觉表征，并模拟视网膜及腹侧、背侧视觉通路；受人类双眼启发的双流模型在注意与物体识别上与人脑功能对齐。CNN还能预测V1神经元反应、揭示视网膜电路结构并用于视觉路径预测，推动脑启发计算机视觉发展。
延伸解读
从解码到模拟：深度学习如何连接视觉神经科学
文章梳理了多项研究，显示深度卷积神经网络不仅能以较高精度解码人脑视觉表征，还能模拟视网膜及腹侧、背侧视觉通路。例如，CNN可预测V1神经元对自然图像的响应，并揭示视网膜电路结构。这些工作表明，深度学习正从单纯的预测工具，转变为理解视觉系统计算机制的研究框架。
双流模型：借鉴人眼结构提升计算机视觉鲁棒性
文章指出，人类视觉系统使用并行通路处理空间和物体识别，而多数计算机视觉系统仅用单一前馈通路，导致鲁棒性和效率较低。受此启发，研究者开发了双流视觉模型，其WhereCNN和WhatCNN分支分别对应背侧和腹侧通路，并在注意与物体识别任务中与人脑功能对齐。这为脑启发计算机视觉提供了新思路。
方法局限与未来方向：时间动态和反馈机制仍待补足
尽管CNN能可靠预测和解码观看自然电影时的fMRI数据，但文章提到，其预测区域覆盖腹侧流和背侧流时，仍缺少对时间动态或反馈处理机制的建模。这意味着当前模型对视觉系统的模拟尚不完整，未来研究需纳入时间维度和反馈回路，以更全面地逼近人脑视觉处理过程。
Q&A
深度学习如何帮助解码人脑的视觉表征？
深度卷积神经网络能够以先前无法实现的精度对人脑表示进行解码，提供更敏感的窗口观察人脑。研究还成功探测到哺乳动物腹侧视觉途径中逐渐增加的特定特征梯度，并将特征复杂度映射到人类大脑，提供了研究大脑表示映射的自动化方法。
受人类视觉系统启发的双流模型有什么特点？
该双流视觉模型模拟人眼使用巨细胞和小细胞视网膜神经节细胞将视网膜输入分离到大脑的过程。其WhereCNN和WhatCNN分支分别与视觉皮层的背侧和腹侧通路相匹配，主要因为不同学习目标在视觉注意和物体识别中的显著差异。这种模型使并行神经网络能够主动探索和理解视觉环境。
CNN能预测V1神经元对自然图像的响应吗？
是的，使用深度卷积神经网络预测V1神经元对自然图像的响应，发现有15%的神经元可以准确预测。此外，使用逆神经网络可以确定激发V1神经元的图像特征（接受野），其中包括预测高级纹理图像特征的神经元。
深度学习如何揭示视网膜电路的结构？
通过深度前馈神经网络对感知神经元输入输出映射建模，并将方法应用于视网膜深层网络模型，揭示了视网膜的预测特征提取以及各种时空刺激下信号偏离期望的计算机制。此外，CNN能学到视网膜电路的生物学组成，这些特征可以显示为视网膜节细胞传统感受野的空间瓦片，为研究神经回路结构奠定了基础。
CNN驱动的图像识别技术能预测大脑观看自然电影时的fMRI数据吗？
研究表明，使用卷积神经网络驱动的图像识别技术不仅能在下流视觉区域说明大脑对静态图片的反应，还能可靠地预测和解码人类观看自然电影时的功能性磁共振成像数据，并通过缺少时间动态或反馈处理机制的CNN预测区域覆盖了包括腹侧流和背侧流在内的大部分视觉和语义空间。
深度学习在视觉路径预测方面有什么应用？
研究提出了一种深度学习框架，同时进行视觉表示的深度特征学习以及时空上下文建模，以实现准确的视觉路径预测，并构建了基准数据集进行综合性评估，得到了优于现有方法更好的泛化能力和性能表现。
