本文探讨了多模态转换器在大脑编码中的有效性，发现VisualBERT优于传统模型。研究结合fMRI信号与图像生成，提出了新的重建框架，展示了在神经科学和图像生成领域的应用潜力。

我们开发了一种工具，通过将大型预训练视觉模型映射到大脑上，揭示其隐藏信息。我们的创新提出了一种使用大脑编码的方法：预测大脑在图像刺激下的功能磁共振成像测量。我们发现大脑和深度网络特征之间的显式映射至关重要，FactorTopy方法可应用于任何深度网络。此外，训练方法对层次结构和缩放行为有重要影响，微调也会改变预训练模型。我们的方法实用，只需3000个图像就能学习网络到大脑的映射。