脑力到图像：将大脑的视觉心理想象从 fMRI 投影出来
内容提要
本文探讨了结合 fMRI 信号和深度学习模型重建复杂图像场景的方法，提出了 MindEye 和 MindDiffuser 等新技术，利用对比学习和扩散技术实现高效图像重建与检索。同时，NeuroImagen 和 Recon3DMind 任务展示了从脑电信号和 fMRI 信号中提取高分辨率视觉信息的能力，推动了对人脑视觉处理的理解。
延伸解读
技术路线：从对比学习到扩散模型
文章梳理了脑视觉重建的两条主要技术路线。MindEye 通过对比学习将 fMRI 信号映射到高维多模态潜在空间，再借助扩散模型生成图像，兼顾检索与重建。MindDiffuser 则采用两阶段策略，利用稳定扩散技术分别重构语义和结构信息。这些方法共同表明，预训练视觉-语言模型能有效缓解 fMRI 数据稀缺问题，为后续研究提供了可复用的框架。
数据挑战与跨数据集生成
高质量 fMRI 数据稀缺是核心瓶颈。文章提到一种基于无监督 GAN 的框架，结合 7T 和 3T 数据集生成改进的 3T 数据，以克服 7T 数据不足和 3T 扫描质量低的问题。此外，仅用 1 小时 fMRI 训练数据即可实现高质量知觉重建，方法是在 7 名受试者上预训练并微调新受试者。这些进展说明，数据效率和跨受试者泛化正成为重要方向。
从 2D 图像到 3D 视觉与实时解码
研究已从静态 2D 图像重建扩展到 3D 视觉和实时应用。Recon3DMind 任务利用 360 度全景视频的 fMRI-Shape 数据集，通过 MinD-3D 三阶段框架解码 3D 视觉信息，重建出高语义相关性和空间相似性的 3D 对象。同时，基于 MEG 的高时间分辨率测量与生成型 AI 结合，推动了实时脑活动解码的进展。这些探索加深了对人脑 3D 视觉处理机制的理解。
Brainformer：连接脑信号与机器视觉
文章还介绍了基于 Transformer 的 Brainformer 方法，用于分析人类感知系统中的 fMRI 模式，并将其作为监督机制应用于机器视觉模型。实验表明，在各种图像识别任务中，利用 fMRI 信息可以达到与当前最先进方法相比的潜在结果。这一方向不仅提升了机器视觉性能，也为理解大脑视觉表征与人工神经网络之间的对应关系提供了新视角。
Q&A
MindEye 方法是如何工作的？
MindEye 方法通过对比学习和扩散技术，将 fMRI 脑活动映射到高维多模态潜在空间，实现图像的重建和检索。
MindDiffuser 模型的优势是什么？
MindDiffuser 模型利用稳定扩散技术，成功实现语义和结构信息的重构，重建结果超过当前最先进模型。
NeuroImagen 流程的主要功能是什么？
NeuroImagen 流程用于从脑电信号中重构高分辨率视觉刺激图像，并提取实用信息。
Recon3DMind 任务的目的是什么？
Recon3DMind 任务旨在从 fMRI 信号中解码和重建大脑的 3D 视觉信息，深入理解人脑的 3D 视觉处理能力。
Brainformer 方法的创新之处在哪里？
Brainformer 方法通过分析 fMRI 模式并将其应用于机器视觉模型，提升了图像识别任务的潜在结果。
如何解决 fMRI 数据稀缺的问题？
通过结合 fMRI 神经活动信号、图像和图像语义描述，使用深度学习模型来解决数据稀缺问题。
