神经转码视觉变换器用于EEG到fMRI合成
原文中文,约400字,阅读约需1分钟。发表于: 。本研究处理了从脑电图(EEG)数据生成高分辨率功能性磁共振成像(fMRI)样本的问题,通过引入神经转码视觉变换器(NT-ViT)模型,采用领域匹配子模块增强了EEG与fMRI的对齐精度。研究发现,NT-ViT在两个基准数据集上的重建质量显著优于当前最先进的方法,具有重要的临床应用前景,有助于提高神经疾病的诊断效率。
本研究展示了以ImageNet为预训练数据的混合Vision Transformer(ViT)模型在脑电图(EEG)回归任务上的应用,通过微调该模型在EEG数据上,发现其性能显著提升,挑战了对模型泛化的传统理解。这种方法成功地将ViT模型在视觉任务中提取的特征转化为EEG预测建模的目的,建议在神经科学和其他限制任务中采用这种方法,结果揭示了预训练模型在不同任务上的潜力。