NeuralDiffuser: 基于主要视觉特征引导扩散的可控 fMRI 重建
内容提要
该文综述了基于扩散模型和fMRI的脑信号图像重建研究，涵盖Brain-Diffuser、CnD、MindDiffuser、CMVDM等框架，通过语义与结构信息对齐提升重建精度，并扩展至3D场景生成、胎儿脑MRI重建及异常检测等领域。
延伸解读
从二维到三维：重建范围的扩展
文章不仅涵盖从fMRI重建二维图像，还扩展到三维场景生成（如NeuralField-LDM）和胎儿脑MRI体积重建（如RDGM）。这表明基于扩散模型的重建技术正从静态图像向动态、立体场景发展，为脑机接口和神经科学提供了更丰富的应用可能。
语义与结构对齐：提升重建精度的关键
多个框架（如MindDiffuser、CMVDM）强调同时重建语义和结构信息，并通过前向估计和反向传播实现精确对齐。这种对齐策略使重建结果更符合大脑反应的多模态特征，从而在自然场景数据集上超越现有模型，并增强了神经生物学的可解释性。
跨领域应用：从视觉重建到医学异常检测
扩散模型在fMRI重建中的方法也被迁移到医学领域，例如利用条件机制优化脑部MRI的无监督异常检测，提高重构质量和域适应能力。这显示了该技术框架的通用性，能够处理不同MRI采集和模拟对比度之间的差异，提升泛化性能。
Q&A
Brain-Diffuser 是如何从 fMRI 信号重建视觉图像的？
Brain-Diffuser 是一个两阶段场景重建框架。它首先从 fMRI 信号中推断出场景的低级特征和整体布局，然后通过潜在扩散模型生成最终重建的图像。该方法在公开数据集基准测试中表现出色。
MindDiffuser 在 fMRI 图像重建中有什么创新？
MindDiffuser 是一个两阶段图像重建模型，利用稳定扩散技术，通过 fMRI 进行前向估计和反向传播，实现语义和结构信息的精确对齐。实验表明，该模型在自然场景数据集上超过了现有最先进模型，并与大脑反应的多模态特征解释力一致。
CMVDM 方法如何从 fMRI 数据中提取信息并合成图像？
CMVDM（Controllable Mind Visual Diffusion Model）利用属性对齐和辅助网络从 fMRI 数据中提取语义和轮廓信息，然后利用控制模型对提取的信息进行图像合成。与其他现有方法相比，CMVDM 在定性和定量上都具有更好的性能。
有哪些方法将扩散模型应用于脑部 MRI 异常检测？
通过在扩散模型上引入条件机制，对无监督异常检测中的脑部 MRI 图像重构进行优化，以提高重构质量、域适应性特征和分割性能，并且可在不同 MRI 采集和模拟对比度之间进行领域适应，从而提高脑部 MRI 无监督异常检测的性能和泛化能力。
NeuralField-LDM 如何生成 3D 场景？
NeuralField-LDM 使用自动编码器训练场景图片，通过特征体素格点表示神经场，并进一步利用潜在自动编码器压缩、映射体素格点至潜在空间，并采用分层扩散模型完成 3D 场景生成管线。该模型在条件场景生成、场景修复和场景风格变化等 3D 内容创作应用领域也有展示。
RDGM 如何用于胎儿脑 MRI 的高质量重建？
RDGM（Radiation Diffusion Generation Model）利用 Neural Radiation Field (NeRF) 和超分辨率生成的扩散模型，使用预训练的 transformer 模型进行切片配准，进一步增强了体积的全局一致性和区分能力。实验结果表明，该方法在真实世界胎儿脑 MRI 堆栈上表现出最先进的性能。
