BrainWavLM: Fine-tuning Speech Representations Using Brain Responses to Language
💡
原文英文,约100词,阅读约需1分钟。
📝
内容提要
本研究提出了BrainWavLM模型,通过低秩适配微调WavLM编码模型,提升了对语言刺激反应的预测能力,增强了语音刺激的语义表示,展现出更高的编码性能和稳定性。
🎯
关键要点
- 本研究提出了BrainWavLM模型,旨在提升对语言刺激反应的预测能力。
- 使用低秩适配(LoRA)方法对WavLM编码模型进行端到端的微调。
- 经过微调的模型在大脑编码目标上显示出更高的编码性能和稳定性。
- 模型增强了语音刺激的语义表示,表明低阶神经活动与语义理解之间的潜在桥梁。
🏷️
标签
➡️