Decoding fMRI Data into Captions using Prefix Language Modeling

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新颖的脑信号解码技术,通过预测DINOv2模型的图像嵌入,将fMRI信号解码为图像字幕,并作为GPT-2语言模型的前缀,从而显著降低计算需求。同时,采用三维卷积神经网络更好地考虑体素位置信息,提升大脑解码的精度和效率。

🏷️

标签

➡️

继续阅读