灵长类动物大脑在视觉中如何结合生成和判别计算？
内容提要
该文汇集多项计算机视觉与神经科学交叉研究，涵盖生成模型的局限与图形渲染反转、视网膜神经约束对表征的影响、模拟人眼双流视觉的模型（其网络分支对应视觉皮层背腹通路）、DNN与人类视觉感知及无架构视觉学习的关系、神经网络连接的计算角色评估、基于注意力机制的新面孔生成、生成类人扫描路径的神经视觉注意力算法，以及多模态模型VISION对fMRI反应的预测（准确度超现有技术45%）。
延伸解读
双流模型为何更接近人脑
文章指出人类视觉系统使用并行通路处理空间和物体识别，而多数计算机视觉系统仅用单一前馈通路，导致鲁棒性和效率较低。受此启发开发的双流模型，其WhereCNN和WhatCNN分支分别对应视觉皮层的背侧和腹侧通路，主要因为学习目标在视觉注意和物体识别上存在显著差异。这提示并行架构可能比单一通路更贴近生物视觉机制。
视网膜计算随动物体型分化
基于深度卷积神经网络的研究发现，视觉系统中的不同神经约束会导致不同处理阶段产生不同表征模式。模型预测小型脊椎动物的视网膜应执行非线性特征检测，而大型动物的视网膜则基本以线性方式编码视觉场景以响应广泛刺激。这一发现将神经约束与表征模式联系起来，为理解视网膜计算的物种差异提供了计算视角。
多模态模型预测大脑反应的潜力与边界
多模态模型VISION利用视觉和上下文输入，成功预测了人类大脑对自然图像的功能性磁共振成像反应，准确度超过现有技术45%。文章称其揭示了不同视觉区域的表征偏差，生成可实验检验的假设，并有望降低视觉皮层功能分析的成本和时间负担。但需注意，这些结果基于特定实验条件，其普适性和因果解释仍需进一步验证。
Q&A
人类视觉系统的双通路结构如何启发了计算机视觉模型的设计？
人类视觉系统使用两个并行通路进行空间处理和物体识别，而计算机视觉系统通常使用单一前馈通路，导致鲁棒性、适应性和效率较低。受此启发，研究者开发了双流视觉模型，模拟人眼使用巨细胞和小细胞视网膜神经节细胞将视网膜输入分离到大脑的过程。该模型中的WhereCNN和WhatCNN分支分别与视觉皮层的背侧和腹侧通路相匹配，主要因为其不同学习目标在视觉注意和物体识别中的显著差异。
视网膜的神经约束如何影响视觉处理不同阶段的表征？
通过深度卷积神经网络模型研究发现，视觉系统中的不同神经约束可以导致视觉处理的不同阶段产生不同的表征模式。具体而言，小型脊椎动物的视网膜应执行非线性的特征检测计算，而大型动物的视网膜应当基本以线性方式编码视觉场景以响应广泛的刺激。
VISION多模态模型在预测大脑fMRI反应方面表现如何？
VISION多模态模型利用视觉和上下文输入，成功预测了人类大脑对自然图像的功能性磁共振成像（fMRI）扫描反应，其准确度超过了现有技术性能45%。该模型还揭示了不同视觉区域的表征偏差，生成了可实验检验的假设，并形成了可解释的指标将这些假设与皮层功能相关联，为视觉皮层功能分析降低了成本和时间负担。
神经视觉注意力算法（NeVA）有什么优势？
NeVA利用仿生视觉约束在神经网络上实现了类人的扫描路径生成。实验结果表明，该方法在类人扫描路径相似性方面优于现有无监督的人类注意力模型，同时可灵活地研究不同任务对视觉行为的影响，并在考虑不完美的视觉条件下的实际应用中表现出明显的优势。
神经网络中不同连接（底层、水平、顶层）的计算角色有何不同？
通过对两个合成视觉任务的系统评估，研究发现神经网络架构中底层、水平和顶层连接的计算角色有所不同，且这些交互都可以更灵活地学习形成感知群体。
生成模型在计算机视觉中存在哪些局限性？如何克服？
论文讨论了计算机视觉中生成模型的局限性，提出利用现有的判别式或启发式计算机视觉方法的原则性方法，并在具有渲染程序组件的挑战性生成模型上进行实验，集中研究反转现有图形渲染引擎的问题。
