HMD-Poser：基于可扩展稀疏观测的设备端实时人体动作跟踪
内容提要
本文介绍了几种基于深度学习的全身姿态估计方法，包括AvatarPoser、SparsePoser、HMD-NeMo和EgoPoser。这些方法通过头部和手部运动输入，实时预测全身姿势，适用于虚拟现实和增强现实应用。EgoPoser强调在不依赖全局位置的情况下，通过间歇性手部跟踪实现高效姿态建模。
延伸解读
技术演进：从依赖外部设备到仅用头手信号
文章梳理了全身姿态估计的演进脉络：AvatarPoser首次仅用头手运动预测全身姿势；SparsePoser减少到六个跟踪设备；HMD-NeMo解决手部部分可见问题；EgoPoser则完全摆脱全局位置依赖，仅靠头显视野内的间歇性手部跟踪。这一路径显示，研究正逐步降低对额外传感器和全局定位的依赖，向更轻量、更易部署的方向发展。
EgoPoser的突破：不依赖全局位置的高效建模
EgoPoser通过重新设计输入表示和引入运动分解，在不依赖全局位置的情况下，仅利用头显视野内间歇性的手部位置和方向跟踪来建模身体姿势。其推断速度超过每秒600帧，且能泛化到不同身体尺寸的用户。这意味着在大场景环境中，无需外部捕捉设备即可扩展全身姿态估计，为未来工作奠定了基础。
多传感器融合与物理模拟的补充路径
除头手方案外，文章还提及结合IMU和头戴式摄像机的3D姿势恢复方法，通过融合相机自定位与IMU人体跟踪，并集成3D场景约束，实现无漂移的姿态精度。另一项工作利用强化学习和物理模拟，将人类运动重定向到不同骨架结构的角色，仅需运动捕捉数据训练。这些方法从不同角度提升了动作捕捉的准确性和适用性。
Q&A
AvatarPoser 是什么？
AvatarPoser 是一种基于学习的方法，仅使用用户的头部和手部运动输入来预测全身姿势，具有高准确性和实时操作速度。
SparsePoser 的优势是什么？
SparsePoser 通过六个跟踪设备重建全身姿势，适用于不同身体尺寸的用户，并在实时演示中优于传统技术。
EgoPoser 如何实现高效的姿态建模？
EgoPoser 通过间歇性手部跟踪，在不依赖全局位置的情况下预测全身姿态，推断速度超过每秒 600 帧。
HMD-NeMo 的主要功能是什么？
HMD-NeMo 是一种轻量级神经网络，能够在线实时预测全身动作，解决部分可见手部情况下的全身动作生成问题。
如何利用可穿戴传感器恢复 3D 姿势？
通过结合 IMU 和头戴式摄像机，使用相机自定位与 IMU 跟踪融合，能够在更大的记录体积中捕获 3D 姿势。
如何提高用户运动重建的准确性？
通过预测用户整体运动的潜在表征并与跟踪传感器输入集成，利用神经运动先验信息可以提高运动重建的准确性。
