Art2Mus：通过跨模态生成架起视觉艺术与音乐的桥梁
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对现有图像到音乐模型仅能处理简单图像而无法生成来自复杂数字艺术作品的音乐这一问题，提出了一种新模型$\mathcal{A}\textit{rt2}\mathcal{M}\textit{us}$。该模型基于AudioLDM~2架构，结合新创建的数据集，实现了从数字艺术作品或文本输入中生成音乐。实验结果表明，$\mathcal{A}\textit{rt2}\mathcal{M}\text...
本研究开发了Video2Music AI框架，通过分析视频的语义、场景、运动和情感特征生成音乐。我们创建了MuVi-Sync数据集，训练了情感多模态Transformer模型，实现了音乐与视频的情感匹配。实验表明，该框架生成的音乐质量高，与视频匹配良好。
