The Verge ·

谷歌DeepMind的新AI工具利用视频像素和文本提示生成音轨

💡 原文英文，约600词，阅读约需3分钟。

📝

内容提要

谷歌DeepMind推出了一款新AI工具，可以根据视频像素和文本提示生成音轨。该工具能够创建与视频场景匹配的音效和对话，生成无限数量的音轨，提升音频与视频的配合。目前该工具仍在测试中，未来将带有AI生成的水印。

🔎

DeepMind的工具不仅依赖文本提示，还直接分析视频像素，从而自动将音频事件与视觉场景匹配。文章对比了ElevenLabs的音效生成器，后者仅使用文本提示。这种视频与文本结合的方式，可能让生成的音轨更贴合画面，减少手动对齐的工作。

文章指出，该工具在对话口型同步方面仍有待改进，且音频质量受视频质量影响，模糊或失真的视频会导致音频质量明显下降。此外，工具尚未普遍可用，需经过严格的安全评估和测试。这些限制意味着短期内它可能更适合实验性项目，而非高要求的专业制作。

文章提到，该工具可为视频生成无限数量的音轨，并可能简化与AI生成视频（如DeepMind的Veo和Sora）的音频配对。这暗示未来AI视频制作可能更自动化，但文章也强调工具仍在测试中，且输出将带有SynthID水印以标识AI生成，这有助于内容溯源。

❓

该工具可以根据视频像素和文本提示生成音轨，创建与视频场景匹配的音效和对话。

用户可以选择使用文本提示生成音频，但文本提示是可选的，工具也能自动匹配音频与视频场景。

该工具能够生成无限数量的音轨，并且可以自动匹配音频与视频场景，而其他工具如ElevenLabs的工具则主要依赖文本提示。

该工具仍在测试中，尚未普遍可用，需要经过严格的安全评估和测试。

该工具在同步口型与对话方面存在改进空间，并且视频质量差可能导致音频质量下降。

是的，生成的音轨将带有Google的SynthID水印，以标识其为AI生成的内容。

🏷️