本文综述音视频跨模态生成研究,涵盖多模态扩散模型与耦合自编码器去噪、随机平移注意力对齐音视频、声音生成场景图像、轻量适配器实现音频引导视频生成,以及AV-Align对齐评估。Diff-Foley、T2V音频控制、MagicVideo等方法提升了同步与质量,并应用于音视分割和联合表示。
完成下面两步后,将自动完成登录并继续当前操作。