SongComposer: 歌曲生成中用于歌词和旋律创作的大型语言模型
内容提要
该文综述歌词与旋律生成研究：早期采用序列到序列模型结合语言与旋律创作曲调；ChatMusician基于LLaMA2实现音乐理解与生成；汉语歌词生成需考虑音节与语义；SongMASS通过掩蔽预训练提升生成质量；SongRewriter支持可控生成与编辑；分层框架无需对齐数据即可生成可唱歌词。此外还介绍了InternLM-XComposer图文组合模型及大模型生成中文歌词的探索。
延伸解读
歌词生成的技术演进
从2018年的序列到序列模型到2024年的ChatMusician，歌词与旋律生成技术不断演进。早期模型结合神经编码器和分层解码器，在大量歌词-旋律匹配对上训练，生成质量超越基线。随后，SongMASS通过掩蔽预训练提升生成质量，SongRewriter实现可控生成与编辑，分层框架则无需对齐数据即可生成可唱歌词。这些进展显示研究正从基础生成向可控、高质量方向发展。
汉语歌词生成的独特挑战
汉语歌词生成需兼顾音节结构与语义，这与西方语言不同。2019年的研究采用多通道序列到序列模型，分别编码音节和语义，并利用大规模汉语歌词语料训练。SongRewriter进一步引入押韵评估度量，提升韵律质量。这些工作表明，汉语的声调、音节和押韵规则对生成模型提出了特殊要求，需要专门设计。
评估方法的局限与创新
自动评估指标如MAUVE在评估歌词创造性方面存在局限，人工评估仍不可或缺。SongRewriter提出了三个新的押韵评估度量，而基于ChatGPT的评估展示了生成歌词的一致性和正确性。这些尝试反映了歌词生成评估的复杂性，未来可能需要结合自动指标与人工评审，以更全面衡量生成质量。
多模态与跨领域探索
InternLM-XComposer展示了图文组合能力，能生成连贯的图文文章，并在多模态基准测试中取得先进结果。此外，有研究利用大型多语言模型生成中文歌词，并结合稳定扩散模型设计唱片封面，为艺术家提供创意方法。这些探索表明，歌词生成正与多模态技术融合，拓展应用场景。
Q&A
SongComposer是什么？它主要解决什么问题？
SongComposer是一个用于歌曲生成的大型语言模型，专注于歌词和旋律的创作。它旨在解决自动生成歌曲时歌词到旋律生成和旋律到歌词生成所面临的限制问题。
SongComposer使用了哪些技术来实现歌词和旋律的生成？
SongComposer基于序列到序列框架，利用神经编码器和分层解码器，结合自然语言和旋律创作音乐曲调。它采用了掩蔽序列到序列预训练和基于注意力的对齐建模，并使用了随机化的多级掩码策略进行训练。
SongComposer在歌词和旋律生成方面有哪些具体功能？
SongComposer支持歌词到旋律生成和旋律到歌词生成，并具备可控的中文歌词生成和编辑功能，包括新歌词生成和现有歌词片段编辑，加入关键词提示和新的解码约束，提高了词汇选择的控制性以及末韵和内韵方案的灵活性。
SongComposer相比其他模型有什么优势？
SongComposer在歌词和旋律生成质量上明显优于基线方法。它能够创作结构良好、完整的音乐作品，超过了GPT-4基准模型。在人类评分中，基于分层框架的歌词生成模型相对于SongMASS等强基线模型获得了24%的整体质量改善。
SongComposer如何处理中文歌词的生成？
SongComposer考虑汉语音节结构及语义，使用多通道序列到序列模型，同时考虑词组结构和语义，其中一个用于编码音节结构，另一个用于语义编码。它使用大规模的汉语歌词语料库进行训练，并通过自动和人工评估验证了模型的有效性。
SongComposer在评估方面采用了哪些方法？
SongComposer通过人工评估和自动评估来验证模型的有效性。人工评估表明模型生成的旋律比基线模型更优秀，自动评估使用了基于ChatGPT的评估和新的歌词押韵评估度量标准。
