通过文本到视频模型的调整实现多样和一致的音视频生成

该研究提出了一种基于轻量级适配器网络的方法，利用自然音频样本生成多样化和逼真的视频，并提出了一种新的评估度量（AV-Align）以评估生成视频与输入音频样本的对齐性。与最新的先进方法相比，该方法生成的视频在内容和时间轴上都与输入音频更好地对齐，并且呈现更高的视觉质量和多样性。