SonicSim: 一种可定制的移动声源环境下语音处理的仿真平台
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了在移动声源条件下进行语音分离和增强模型评估时数据不足的问题。通过引入SonicSim,一个基于Habitat-sim的合成工具包,能够生成多样化和高度可定制的合成数据集SonicSet,为模型评估提供了更真实的环境支持。研究表明,SonicSim生成的合成数据能够有效地推广到实际场景。
我们推出了Real Acoustic Fields(RAF)数据集,包含真实声场数据、多视图图像配对的房间脉冲响应数据,以及声音发射器和听者的6DoF姿态跟踪数据。该数据集用于评估和增强新视角声学合成方法,结合视觉数据与神经声学场模型,展示了模拟-真实方法的有效性。RAF是音频和音频-视觉神经声学研究的理想资源。