JELLY: A Conversational Speech Synthesis Framework Integrating Emotion Recognition and Contextual Reasoning with Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出JELLY框架,解决对话语音合成中的上下文和情感识别问题。通过微调大型语言模型,JELLY能够自然生成符合对话情感的语音,实验结果表明其在情感上下文建模方面表现优异。

🎯

关键要点

  • 本研究提出JELLY框架,解决对话语音合成中的上下文和情感识别问题。

  • JELLY框架通过集成情感识别和上下文推理,利用多个部分LoRA模块对大型语言模型进行微调。

  • 实验结果表明,JELLY在情感上下文建模方面表现出色。

  • JELLY能够自然生成符合对话情感的语音。

➡️

继续阅读