本研究提出了一种新颖的脑信号解码技术,通过预测DINOv2模型的图像嵌入,将fMRI信号解码为图像字幕,并作为GPT-2语言模型的前缀,从而显著降低计算需求。同时,采用三维卷积神经网络更好地考虑体素位置信息,提升大脑解码的精度和效率。
该文综述神经网络与人类认知表示的对齐研究,提出统一框架,梳理认知科学、神经科学和机器学习文献。研究发现模型规模和架构影响不大,训练数据与目标函数更关键;线性转换可提升一致性。相关工作报告了脑电解码、fMRI预测、图像重构及类人视觉注意力等进展。
完成下面两步后,将自动完成登录并继续当前操作。