逆转听觉处理路径:基于 fMRI 的由粗到细的音频重建
📝
内容提要
基于人类听觉系统的层次化处理,从低级声学特征到高级语义理解的转变,我们引入了一种新的粗到细的音频重建方法。利用非侵入式功能性磁共振成像(fMRI)数据,我们的方法模拟了听觉处理的逆向路径。通过初始使用 CLAP 将 fMRI 数据粗略解码到低维语义空间,然后通过语义特征引导进行精细解码到高维 AudioMAE...
🏷️
标签
➡️