基于 FisheyeViT 和基于扩散的动作精炼技术的自我中心全身运动捕获

本研究使用单个鱼眼相机进行自我中心的全身动作捕捉，同时估计人体和手部动作。提出了一种新的方法，利用FisheyeViT提取鱼眼图像特征，将其转换为像素对齐的3D热图表示以预测3D人体姿势。整合了专用的手部检测和手部姿势估计网络以回归3D手部姿势。开发了基于扩散的全身动作先验模型，以在考虑关节不确定性的同时对估计的全身动作进行优化。通过收集一个大型合成数据集EgoWholeBody，训练了这些网络。定量和定性评估证明了方法的有效性。