💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
AI音乐生成模型YuE能够生成长达5分钟的歌曲，结合了歌声合成与伴奏生成，表现优异。其创新的双轨建模和上下文学习策略显著提升了模仿多种风格的能力，甚至能生成与知名歌手相似的声音。
🎯
关键要点
- AI音乐生成模型YuE能够生成长达5分钟的歌曲，结合了歌声合成与伴奏生成，表现优异。
- YuE采用双轨建模和上下文学习策略，显著提升了模仿多种风格的能力。
- YuE是第一个开源的全曲级歌曲生成基座，能够同时生成专业级歌声和伴奏。
- YuE的Stage-1 LM联合建模文本条件和音频离散token序列，避免了信息损失。
- YuE的Dual-NTP策略实现了歌声合成和音乐伴奏生成的联合建模。
- 结构化渐进生成（CoT）方法使得人声轨能在全曲范围内准确跟随歌词控制。
- YuE引入了特有的上下文学习（Music ICL），保护了模型的音乐性和创造力。
- YuE在生成时长和人声音域上与国际领先水平相当，查重率低于人类翻唱。
- YuE的embedding质量优秀，表征质量与最新的自监督学习模型相当。
➡️
