基于密集特征的脑图谱:将皮层语义选择性与视觉变换器中的自然图像相结合
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对自然图像中多类别共现的挑战,提出了一种新的方法BrainSAIL,用于孤立特定的神经激活视觉概念。研究表明,该方法能够准确定位和解构人类视觉皮层对多种视觉概念的选择性,为理解复杂视觉信息的编码提供了新视角。
研究人员通过训练多模态神经网络架构CLIP,使用改进的DBSCAN聚类算法揭示了共享解码概念(SDCs)。这些SDCs通过在多个参与者中解码CLIP空间中的共同体素聚类来实现。分析每个SDC相关的图像,研究者更好地理解其语义属性。这种方法结合多模态神经网络和新颖的聚类算法,更好地描述大脑中的视觉-语义表示。