人体姿态估计WHAM与手势估计HaMeR：人形机器人重定向的关键技术(含SMPL-X的详解)
内容提要
本文介绍了姿态估计之WHAM和手势估计之HaMeR。WHAM使用ViTPose检测2D关键点，并使用Motion Encoder提取运动特征。通过图像特征和运动特征的结合，提升2D关键点到3D网格。WHAM还设计了全局轨迹解码器和接触感知轨迹的优化。HaMeR用于在3D中重建手势。
延伸解读
WHAM如何利用RNN处理长序列运动
与固定时间窗口的方法不同，WHAM使用RNN作为运动编码器和解码器，能够处理可变长度的视频序列。运动编码器基于当前和之前的2D关键点提取运动上下文，解码器则恢复SMPL参数、相机平移和脚接触概率。这种设计使模型能更好地利用时间上的运动信息，将2D关键点提升到3D网格。
全局轨迹解码器与SLAM兼容性
WHAM设计了额外的全局轨迹解码器，从运动特征中预测粗略的全局根方向和根速度。由于运动特征源自相机坐标系，解耦人体与相机运动具有挑战性。作者将相机角速度附加到运动特征，创建与相机无关的运动上下文，使WHAM兼容现成的SLAM算法和陀螺仪测量，从而提升全局轨迹估计的准确性。
接触感知轨迹优化解决脚滑问题
WHAM提出两阶段轨迹优化：首先根据脚-地面接触概率调整根速度以最小化脚滑，但当接触和姿态估计不准确时，速度调整会引入噪声平移。因此，作者引入学习机制，通过轨迹优化网络更新根方向和速度，最后计算全局平移。这一优化使WHAM能泛化到爬楼梯等各种运动。
Q&A
WHAM的主要功能是什么？
WHAM的主要功能是通过检测2D关键点和提取运动特征，将2D关键点提升到3D网格，并预测SMPL模型参数序列。
WHAM是如何处理运动特征的？
WHAM使用RNN作为运动编码器和解码器，从当前和之前的2D关键点中提取运动上下文，并恢复SMPL参数和脚接触地面的概率。
HaMeR在手势估计中有什么作用？
HaMeR用于在3D中重建手势，具体细节尚待更新。
WHAM如何解决脚滑问题？
WHAM通过新轨迹优化器调整根速度，以最小化脚滑，并更新根部方向和速度来解决接触和姿态估计不准确的问题。
WHAM的输入数据是什么？
WHAM的输入数据是由相机捕获的原始视频数据，可能具有未知运动。
WHAM的全局轨迹解码器有什么功能？
全局轨迹解码器用于从运动特征中预测粗略的全局根方向和根速度，并将人类和相机运动解耦。
