Apple Machine Learning Research
·
StereoFoley：基于视频的对象感知立体音频生成
内容提要
本文介绍了StereoFoley框架，该框架能够从视频生成语义对齐、时间同步和空间准确的立体音频。该模型克服了现有数据集的限制，通过合成数据生成管道实现对象感知的立体声音。研究还引入了立体对象感知度量，并通过人类听觉研究验证了其有效性，建立了视频到音频生成的新基准。
关键要点
-
StereoFoley框架能够从视频生成语义对齐、时间同步和空间准确的立体音频，采样率为48 kHz。
-
现有的视频到音频生成模型在语义和时间保真度上表现良好，但大多仅限于单声道或无法提供对象感知的立体声。
-
为克服数据集的限制，研究引入了一种合成数据生成管道，结合视频分析、对象跟踪和音频合成，实现空间准确的对象感知声音。
-
研究还引入了立体对象感知度量，并通过人类听觉研究验证了其有效性，显示出与感知的强相关性。
-
该工作建立了首个端到端的立体对象感知视频到音频生成框架，填补了关键空白，并设定了该领域的新基准。
延伸解读
立体音频生成的创新
StereoFoley框架通过合成数据生成管道，克服了现有数据集的局限性，实现了从视频生成空间准确的立体音频。这一创新不仅提升了音频的语义对齐和时间同步，还为音频生成领域设定了新的基准，推动了技术的发展。
对象感知的重要性
研究引入的立体对象感知度量，强调了在音频生成中考虑对象位置和动态的重要性。这种方法使得生成的音频更具沉浸感，能够更好地反映视频中的场景，提升用户的听觉体验。
人类听觉研究的验证
通过人类听觉研究验证立体对象感知的有效性，表明该框架生成的音频与人类的感知有强相关性。这一结果不仅增强了研究的可信度，也为未来的音频生成模型提供了重要的参考依据。
延伸问答
StereoFoley框架的主要功能是什么？
StereoFoley框架能够从视频生成语义对齐、时间同步和空间准确的立体音频，采样率为48 kHz。
StereoFoley如何克服现有数据集的限制？
该研究引入了一种合成数据生成管道，结合视频分析、对象跟踪和音频合成，实现空间准确的对象感知声音。
StereoFoley的音频生成质量如何？
StereoFoley在语义准确性和时间同步方面达到了最先进的水平，生成的音频具有清晰的对象-音频对应关系。
该研究是如何验证立体对象感知度量的有效性的？
研究通过人类听觉研究验证了立体对象感知度量，显示出与感知的强相关性。
StereoFoley在视频到音频生成领域设定了什么新基准？
该工作建立了首个端到端的立体对象感知视频到音频生成框架，填补了关键空白，并设定了该领域的新基准。
StereoFoley框架的采样率是多少？
StereoFoley框架的音频采样率为48 kHz。
