透视他们的思维:从跨受试者的 fMRI 学习可迁移的神经表达

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

我们开发了一种工具,通过将大型预训练视觉模型映射到大脑上,揭示其隐藏信息。我们的创新提出了一种使用大脑编码的方法:预测大脑在图像刺激下的功能磁共振成像测量。我们发现大脑和深度网络特征之间的显式映射至关重要,FactorTopy方法可应用于任何深度网络。此外,训练方法对层次结构和缩放行为有重要影响,微调也会改变预训练模型。我们的方法实用,只需3000个图像就能学习网络到大脑的映射。

🎯

关键要点

  • 开发了一种工具,将大型预训练视觉模型映射到大脑,揭示隐藏信息。

  • 提出了一种使用大脑编码的方法,预测大脑在图像刺激下的功能磁共振成像测量。

  • 发现大脑和深度网络特征之间的显式映射至关重要,FactorTopy方法可应用于任何深度网络。

  • 训练方法对层次结构和缩放行为有重要影响,随着数据或网络容量增加而增长。

  • 微调会改变预训练模型,适应小数据集时的表现。

  • 该方法实用,仅需3000个图像即可学习网络到大脑的映射。

➡️

继续阅读