自2021年以来，音频驱动虚拟人合成技术迅速发展，结合静态图像与音频生成同步视频，广泛应用于直播和客服等领域。主要技术挑战包括身份保持与音视频同步。近年来，扩散模型成为主流，推动了该领域的进步。关键研究包括Hallo2、Let Them Talk和OmniHuman-1，分别聚焦于长视频生成、多人人物对话及全身数字人模型，展现出显著的技术突破与商业潜力。

微软开源的VibeVoice是一种新型文本转语音（TTS）合成技术，能够生成高保真、多说话人的长语音。该技术采用下一token扩散方法，显著提高了长序列处理的效率和音频质量，支持最多4名说话人的对话，表现超越现有模型。用户可通过HyperAI官网体验实时语音合成服务。