基于不断增加复杂度的语言模型的 fMRI 预测恢复大脑左侧化
内容提要
本文探讨了深度语言模型与人脑语言处理的关系，研究表明微调BERT模型可提高对脑活动的预测能力。使用Transformer模型的研究显示，模型和数据规模的增加显著提升音频与语言预测效果。此外，神经语言模型与心理可信模型在不同背景下表现差异，心理可信模型在融合具象信息时效果更佳。
延伸解读
模型规模与脑预测的关联
文章指出，使用基于Transformer的语言模型时，模型或数据规模的增大会显著提升对音频和语言脑活动的预测效果。这提示我们，语言模型对大脑的拟合能力可能随规模增长而增强，但需注意这种提升是否源于模型捕捉了更抽象的语言特征，而非单纯记忆了刺激的低级属性。
心理可信模型的优势与适用场景
比较神经语言模型和心理可信模型的研究发现，心理可信模型在多种背景下表现更优，尤其在融合具象信息时，对单词和段落层面的大脑活动预测最佳。这表明，融入认知或感知信息的模型可能更贴近人脑的语言处理机制，但具体优势是否普遍适用于所有语言任务仍需进一步验证。
语音模型预测能力的局限
文章提到，文本和语音语言模型都能准确预测脑部活动，但消除特定的低级刺激特征后，语音模型失去了预测能力。这说明语音模型的预测可能高度依赖声学等低级特征，而非真正的语言理解。未来需要改进语音模型，使其更好地反映大脑的语言处理过程。
证据充分性与未来方向
一项涵盖超过30个研究、10个数据集和8种测量方法的调查发现，大脑和语言模型激活存在一些结构相似性，但现有证据还不充分。这提醒读者，尽管深度语言模型在脑预测上取得进展，但对其与大脑语言处理机制关系的解释仍需谨慎，未来需要更多研究来确认这些相似性的本质。
Q&A
如何提高BERT模型对脑活动的预测能力？
对BERT模型进行微调可以提高其对人们阅读文本时脑活动的预测能力。
深度语言模型与人脑语言处理之间有什么关系？
深度语言模型与人脑之间的相似性被利用，成功复制了神经元相关语言研究。
使用Transformer模型时，模型规模对预测效果有什么影响？
当模型或数据规模增大时，音频与语言预测效果显著提升。
心理可信模型与神经语言模型的表现有何不同？
心理可信模型在多种背景下表现优于神经语言模型，尤其在融合具象信息时效果最佳。
文本和语音语言模型在预测脑部活动时的表现如何？
文本和语音语言模型能够准确预测脑部活动，但语音模型在消除低级刺激特征后预测能力下降。
未来的研究在神经语言模型方面有哪些建议？
未来研究应关注测试损失、训练语料库和模型架构对捕捉大脑活动的影响。
