Art2Mus：通过跨模态生成架起视觉艺术与音乐的桥梁

本研究开发了Video2Music AI框架，通过分析视频的语义、场景、运动和情感特征生成音乐。我们创建了MuVi-Sync数据集，训练了情感多模态Transformer模型，实现了音乐与视频的情感匹配。实验表明，该框架生成的音乐质量高，与视频匹配良好。