通过对齐的跨模态蒸馏实现密集的二维 - 三维室内声音预测

BriefGPT - AI 论文速递 · 2023-09-20T00:00:00Z

该研究提出了一种空间对齐引导模型，能够在2D和3D中使用声音进行室内预测。该模型通过将音频特征与视觉连贯的可学习空间嵌入进行整合，在学生模型的多个层次中解决不一致问题。通过新的基准数据集DAPS，该方法在2D和3D中利用音频观测数据解决了全方位密集室内预测问题，在各种指标和骨干架构上始终取得了最先进的性能。