本文介绍了一种新的分块式遮蔽图像建模(BIM)框架,旨在降低遮蔽图像建模(MIM)的计算资源需求,同时保持高性能。该框架支持多个深度神经网络的并发训练,降低计算成本。研究还探讨了双流视觉模型的开发,模拟人类视觉系统的处理方式,提升计算机视觉的鲁棒性和效率。此外,MIM与监督训练结合,改善了下游任务的学习表示质量,展现出在细粒度分类任务中的优势。
该文汇集多项计算机视觉与神经科学交叉研究,涵盖生成模型的局限与图形渲染反转、视网膜神经约束对表征的影响、模拟人眼双流视觉的模型(其网络分支对应视觉皮层背腹通路)、DNN与人类视觉感知及无架构视觉学习的关系、神经网络连接的计算角色评估、基于注意力机制的新面孔生成、生成类人扫描路径的神经视觉注意力算法,以及多模态模型VISION对fMRI反应的预测(准确度超现有技术45%)。
完成下面两步后,将自动完成登录并继续当前操作。