BriefGPT - AI 论文速递
·
基于 FisheyeViT 和基于扩散的动作精炼技术的自我中心全身运动捕获
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
本研究使用单个鱼眼相机进行自我中心的全身动作捕捉，同时估计人体和手部动作。提出了一种新的方法，利用FisheyeViT提取鱼眼图像特征，将其转换为像素对齐的3D热图表示以预测3D人体姿势。整合了专用的手部检测和手部姿势估计网络以回归3D手部姿势。开发了基于扩散的全身动作先验模型，以在考虑关节不确定性的同时对估计的全身动作进行优化。通过收集一个大型合成数据集EgoWholeBody，训练了这些网络。定量和定性评估证明了方法的有效性。
🎯
关键要点
-
本研究使用单个鱼眼相机进行自我中心的全身动作捕捉。
-
提出了一种新的方法，利用FisheyeViT提取鱼眼图像特征。
-
将鱼眼图像特征转换为像素对齐的3D热图表示以预测3D人体姿势。
-
整合了专用的手部检测和手部姿势估计网络以回归3D手部姿势。
-
开发了基于扩散的全身动作先验模型，以优化估计的全身动作。
-
收集了大型合成数据集EgoWholeBody，包含840,000个高质量自我中心图像。
-
定量和定性评估证明了方法的有效性。
➡️
