透视他们的思维：从跨受试者的 fMRI 学习可迁移的神经表达
原文中文，约400字，阅读约需1分钟。发表于：。我们提出了一种新的方法来解决功能磁共振成像（fMRI）数据稀缺和噪声干扰脑解码模型性能的问题，通过浅层主体特定适配器将跨学科的 fMRI 数据映射到统一的表示中，然后使用共享的深层解码模型将跨学科特征解码为目标特征空间，利用视觉和文本监督进行多模态脑解码的训练，实验证明了我们模型在所有科目中的鲁棒神经表示学习，并且将高级和低级信息相结合可以改善重建度量。
我们开发了一种工具，通过将大型预训练视觉模型映射到大脑上，揭示其隐藏信息。我们的创新提出了一种使用大脑编码的方法：预测大脑在图像刺激下的功能磁共振成像测量。我们发现大脑和深度网络特征之间的显式映射至关重要，FactorTopy方法可应用于任何深度网络。此外，训练方法对层次结构和缩放行为有重要影响，微调也会改变预训练模型。我们的方法实用，只需3000个图像就能学习网络到大脑的映射。
