研究人员通过功能磁共振成像(fMRI)和Vision Transformer 3D(ViT3D)框架,成功重建了大脑的视觉刺激,提升了大脑信号解码能力,为神经科学和脑机接口的发展提供了新思路。
本文介绍了多种神经解码方法,利用脑电图(EEG)信号重建视觉刺激和分类图像。研究表明,结合视觉和语义特征的解码效果优于单独使用。新提出的EIT-1M数据集包含100万个EEG图像-文本对,推动了多模态人工智能的发展,具有广泛应用潜力。
本研究利用功能磁共振成像技术探索人类大脑的微观语义网络,提出了多模态神经网络模型BrainCLIP,结合图像和文本进行语义解码。研究表明,使用少量图像即可有效学习大脑与深度网络的映射,揭示了大脑对视觉刺激的反应及其特征,为视觉处理障碍的诊断提供了潜在线索。
完成下面两步后,将自动完成登录并继续当前操作。