通过声学基元对人体声场进行建模与驱动
内容提要
本文介绍了一种通过音频信号和身体姿势生成三维声场的技术，支持个性化空间音频渲染。研究开发了多个数据集和模型，利用深度学习方法提升音频视觉导航效果，并提出了神经声学场（NAFs）以改善声音传播建模。
延伸解读
技术路径：从数据到声场建模
文章梳理了多项研究，核心是通过头戴式麦克风获取音频信号和身体姿势，生成围绕人体的三维声场。其中，AudioEar3D和AudioEar2D数据集通过重建耳形与3D人体模型集成，模拟听觉传递函数，实现个性化空间音频渲染。这些工作表明，声场建模正从通用模型向结合人体解剖结构的个性化方向演进。
多模态融合：音频与视觉的协同
研究显示，音频在具身视觉导航中具有重要作用。通过多模态深度强化学习训练导航策略，并利用SoundSpaces数据集在三维环境中插入任意声源，验证了音频对视觉导航的帮助。这为音频视觉感知的体验机器人研究奠定了基础，也提示多模态融合是提升空间感知能力的关键。
实时渲染与神经声学场
在人体化身渲染方面，基于三维高斯散点的可动态化模型在THuman4数据集上实现了1.5dB更好的PSNR，并能以20fps或更高速度渲染。同时，神经声学场（NAFs）将声学传播建模为线性时不变系统，能连续映射发送与接收方位置到神经脉冲响应函数，并帮助改善稀疏视图的视觉学习。这些进展共同推动了沉浸式体验的实时性与真实感。
Q&A
如何通过音频信号和身体姿势生成三维声场？
通过头戴式麦克风获取音频信号和身体姿势，生成围绕发射者身体的三维声场，从而在三维空间的任意位置呈现空间音频。
AudioEar3D 和 AudioEar2D 数据集的用途是什么？
这两个数据集用于重建耳形与3D人体模型集成，模拟人的听觉传递函数，实现个性化空间音频渲染。
什么是神经声学场（NAFs）？
神经声学场（NAFs）是一种隐式函数表示，能够捕捉声音在物理环境中的传播，通过将声学传播建模为线性时不变系统来改善声音传播建模。
如何利用多模态深度强化学习进行音频视觉导航？
通过训练导航策略，使用多模态深度强化学习方法，创建新的数据集 SoundSpaces，以在复杂环境中插入任意声源。
SEE-2-SOUND 方法的创新点是什么？
SEE-2-SOUND 引入了零样本方法，将多模式内容生成与空间音频结合，实现高质量视频和图像的沉浸式体验。
如何解决多视角视频中的逼真人体化身渲染问题？
通过提出基于三维高斯散点的动态人体模型，解决了实时渲染问题，并在THuman4数据集上取得了更好的效果。
