DREAM:从逆向人类视觉系统实现视觉解码
原文中文,约300字,阅读约需1分钟。发表于: 。DREAM 是一种基于人类视觉系统的基础知识的 fMRI 到图像的重构方法,通过模拟人类感知视觉世界的分层和并行特性来构建逆向路径,利用专门的路径从 fMRI 数据中提取语义、颜色和深度线索。实验证明,该方法在外观、结构和语义的一致性方面优于当前最先进的模型。
该文介绍了一个两阶段的fMRI表示学习框架,通过使用Double-contrastive Mask Auto-encoder降噪和图像自动编码器的指导来调整特征学习者,生成高分辨率和语义准确的图像。实验结果表明,该模型在50种不同目标的情境下,top-1语义分类的准确率比先前最先进的方法提高了39.34%。