脑解码器:基于风格的视觉EEG信号解码
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对从脑电图(EEG)中解码视觉刺激的神经表征的挑战,提出了一种新颖的视觉解码流程,强调恢复图像风格(如颜色和纹理)。该方法在CLIP空间中分开学习图像和文本,能够更细致地提取EEG信号中的信息,并在Brain2Image数据集上实现了显著提升,设立了新的性能标杆。
我们提出了一种自监督框架,从脑电信号中学习图像表征,并在最广泛的脑电图像数据集上取得了最先进的结果。通过对配对图像刺激和脑电反应进行特征提取,然后使用对比学习来对齐这两种模态。在200种零样本任务中,我们达到了15.6%的top-1准确率和42.8%的top-5准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性,这些结果对神经解码和脑-计算机界面的现实应用提供了有价值的见解。