首个支持普通话和方言混说的TTS大模型：河南话、上海话、粤语说得溜
内容提要
巨人网络AI Lab团队开发了支持多种普通话方言的语音合成大模型Bailing-TTS。通过构建涵盖20种方言的数据集，训练出了接近真人水平的生成质量和自然度。该技术已应用于游戏NPC配音和视频创作等领域，有望在方言文化保护和游戏AI NPC方言交互等领域发挥更大潜力。巨人网络AI Lab将继续推动该技术的创新和应用。
延伸解读
方言TTS的技术难点
文章指出，中国方言种类繁多，每种方言都有独特的语音特征和语法结构，训练统一模型异常复杂。现有TTS大模型多专注普通话，方言语料库稀缺且高质量标注数据匮乏，进一步增加了技术难度。Bailing-TTS通过构建涵盖20种方言、超过20万小时的数据集来应对这些挑战。
关键技术创新解读
Bailing-TTS采用四项创新：统一的方言Token规范，使普通话与方言Token部分重叠以利用普通话基础发音能力；精细化Token对齐技术，基于大规模多模态预训练实现细粒度对齐；层次混合专家结构，学习方言统一表示和特定表示；层次强化学习策略，结合基础与高级训练增强方言表达能力。
实际应用与未来方向
该技术已在游戏NPC配音和视频创作中应用，使内容更贴近地域文化，提升用户沉浸感。未来，随着端到端语音交互大模型发展，Bailing-TTS有望在方言文化保护中帮助下一代学习传承方言，在游戏场景中实现会说方言的智能NPC交互，增强游戏表现力。
Q&A
Bailing-TTS是什么？
Bailing-TTS是巨人网络AI Lab开发的支持多种普通话方言的语音合成大模型。
Bailing-TTS是如何解决方言语料库稀缺的问题的？
Bailing-TTS通过构建涵盖20种方言、超过20万小时的数据集，解决了方言语料库稀缺和高质量标注数据匮乏的问题。
Bailing-TTS的应用场景有哪些？
Bailing-TTS已应用于游戏NPC配音和视频创作等领域。
Bailing-TTS的生成质量如何？
Bailing-TTS在普通话和多种方言的生成质量和自然度上已接近真人水平。
巨人网络AI Lab在Bailing-TTS中采用了哪些技术创新？
技术创新包括统一的方言Token规范、精细化Token对齐技术、层次混合专家结构和层次强化学习增强策略。
未来Bailing-TTS的潜力是什么？
未来该技术将在方言文化保护和游戏AI NPC方言交互等领域展现更大潜力。
