连接绘画与音乐——通过绘画探索基于情感的音乐生成
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了艺术和音乐数据对齐稀缺的问题，开发了一种模型能够生成与视觉艺术情感相契合的音乐。通过构建“情感绘画音乐数据集”并采用双阶段框架，将图像转换为情感描述，进而生成音乐，从而实现高效学习和验证。研究表明，生成音乐与文本之间的高对齐程度，为视觉障碍者和教育、治疗应用提供了新的多感官体验。
本研究开发了Video2Music生成音乐AI框架，能根据视频生成配套音乐。通过分析音乐视频获取特征，并利用这些特征指导音乐生成模型。实验证明框架能生成与视频情感相符的音乐，音乐质量和音乐与视频匹配质量得到用户研究证实。AMT模型和MuVi-Sync数据集为视频音乐生成任务迈出有希望的一步。
