💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
AI音乐生成模型YuE能够生成长达5分钟的歌曲，结合了歌声合成与伴奏生成，表现优异。其创新的双轨建模和上下文学习策略显著提升了模仿多种风格的能力，甚至能生成与知名歌手相似的声音。
🎯
关键要点
- AI音乐生成模型YuE能够生成长达5分钟的歌曲，结合了歌声合成与伴奏生成，表现优异。
- YuE采用双轨建模和上下文学习策略，显著提升了模仿多种风格的能力。
- YuE是第一个开源的全曲级歌曲生成基座，能够同时生成专业级歌声和伴奏。
- YuE的Stage-1 LM联合建模文本条件和音频离散token序列，避免了信息损失。
- YuE的Dual-NTP策略实现了歌声合成和音乐伴奏生成的联合建模。
- 结构化渐进生成（CoT）方法使得人声轨能在全曲范围内准确跟随歌词控制。
- YuE引入了特有的上下文学习（Music ICL），保护了模型的音乐性和创造力。
- YuE在生成时长和人声音域上与国际领先水平相当，查重率低于人类翻唱。
- YuE的embedding质量优秀，表征质量与最新的自监督学习模型相当。
❓
延伸问答
YuE模型的主要功能是什么？
YuE模型能够生成长达5分钟的歌曲，结合歌声合成与伴奏生成，表现优异。
YuE是如何提升模仿多种音乐风格的能力的？
YuE采用双轨建模和上下文学习策略，显著提升了模仿多种风格的能力。
YuE与其他音乐生成模型相比有什么优势？
YuE是第一个开源的全曲级歌曲生成基座，能够同时生成专业级歌声和伴奏，且生成时长和人声音域上与国际领先水平相当。
YuE的Dual-NTP策略有什么作用？
Dual-NTP策略实现了歌声合成和音乐伴奏生成的联合建模，避免了信息损失，确保了轨间对齐。
YuE如何保证生成音乐的创造力？
YuE引入了特有的上下文学习（Music ICL），延迟激活策略保护了模型的音乐性和创造力。
YuE的生成质量如何？
YuE的embedding质量优秀，表征质量与最新的自监督学习模型相当，且查重率低于人类翻唱。
➡️
