入选NeurIPS 2024！中科院团队提出非侵入式大脑解码新框架，为脑机接口和认知模型发展奠定基础
💡
原文中文，约5100字，阅读约需13分钟。
📝
内容提要
研究人员通过功能磁共振成像(fMRI)和Vision Transformer 3D(ViT3D)框架，成功重建了大脑的视觉刺激，提升了大脑信号解码能力，为神经科学和脑机接口的发展提供了新思路。
🎯
关键要点
- 研究人员通过功能磁共振成像(fMRI)和Vision Transformer 3D(ViT3D)框架重建大脑视觉刺激。
- 非侵入性脑解码技术如fMRI在认知神经科学和脑机接口应用中具有重要价值。
- 个体差异和神经信号复杂性使得非侵入性脑信号解码面临挑战。
- 中国科学院自动化研究所的团队设计了多模态集成框架，结合fMRI特征提取与大语言模型。
- 该框架通过Vision Transformer 3D将三维大脑结构与视觉语义结合，简化了数据提取过程。
- 研究成果提升了大脑信号重建视觉刺激的能力，开辟了解读大脑活动的新途径。
- 研究中构建的多模态大模型扩展了fMRI数据的应用范围，包括视觉重建和复杂推理任务。
- 研究团队对NSD数据集进行了预处理，以确保数据一致性和标准化。
- 模型架构融合了fMRI特征提取与大语言模型，支持自然语言指令的视觉重建和概念定位。
- 研究验证了框架的性能，显示出在大脑字幕、详细描述和复杂推理任务上的优越性。
- 研究表明，所提方法在视觉重建和概念定位中有效提取和修改语义信息。
- 中国科学院自动化研究所已在脑科学领域取得多项重要研究成果，推动脑机接口技术的发展。
- 脑解码技术的快速发展受到科研单位和商业公司的共同推动，预示着智脑时代的到来。
➡️
