关于宽广与短程头部姿态估计的表征和方法学
内容提要
该文综述头部与人体姿态估计的深度学习方法。头部方面：WHENet实现全范围偏航估计，有研究用卷积网络直接预测欧拉角，旋转矩阵法提升大角度预测稳定性，另有新注释法与指标降低误差。人体方面：Ego-STAN结合自注意与时空Transformer，ManiPose提供多假设三维姿势，LwPose轻量高效，UniHPE统一三种模态，多视图法直接估计关节角度。
延伸解读
头部姿态估计的表示演进
文章梳理了头部姿态估计中旋转表示方法的演变：早期直接回归欧拉角，但存在不连续性问题；2020年提出的旋转矩阵法通过连续6D表示和地理损失，提升了全范围偏航预测的稳定性；2023年进一步用旋转矩阵中的三个向量作为表示，并引入正交约束，有效降低了大姿态角度下的预测误差。这些改进共同指向一个趋势：更连续、更稳定的旋转表示是提升大角度预测精度的关键。
人体姿态估计的轻量化与多假设
在人体姿态估计方面，文章呈现了两条互补的技术路线。一是轻量化：LwPose采用深度可分离卷积和Transformer编码器，以两流三阶段结构实现高效推理，适合移动设备。二是处理歧义：ManiPose针对单目三维姿态的固有歧义，在姿势流形内提供多组候选三维姿势，以增强一致性。两者分别回应了部署效率与预测可靠性两个实际需求。
统一流程与多视图角度估计
UniHPE尝试用同一流程统一2D姿态估计、基于lifting的3D估计和基于图像的3D估计三种模态，并通过基于奇异值的对比学习损失对齐特征，在Human3.6M和3DPW数据集上报告了具体误差指标。另一项工作则从多视图图像直接估计关节角度，将旋转表示映射到连续空间，为现场运动分析提供了新思路。这些方法表明，多模态融合与多视图信息正成为提升姿态估计鲁棒性的重要方向。
Q&A
WHENet在头部姿态估计中有什么突破？
WHENet是第一个适用于完整头部偏航范围的细粒度现代方法，能够从单个RGB图像预测欧拉角的全范围头部偏航，并且满足或超越了前沿的头部姿态估计方法。
旋转矩阵法如何提升头部姿态估计的稳定性？
旋转矩阵法通过引入连续6D旋转矩阵表示法和地理损失方法，有效学习头部旋转外观并克服当前最先进方法的限制，从而大幅提高头部姿态预测的范围和稳定性。
头部姿态估计中新的注释方法和指标解决了什么问题？
新的注释方法和指标解决了注释数据样本时欧拉角或四元数的不连续性问题，以及Mean Absolute Error（MAE）不能准确反映头部姿态行为的问题，同时对向量进行正交约束，实现了对大姿态角度下预测误差的有效降低。
Ego-STAN是如何利用过去帧信息进行3D人体姿态估计的？
Ego-STAN通过引入spatio-temporal Transformer模型和feature map tokens，利用过去帧信息运用自注意，实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。
ManiPose在单目三维人体姿态估计中有什么特点？
ManiPose是一种新颖的多假设模型，通过在人体姿势流形内约束模型，提供多组候选三维姿势，并达到更强一致性，从而超越现有的姿势一致性性能。
LwPose网络的设计特点是什么？
LwPose是一个基于深度可分离卷积和变换器编码器层结构的两个流和三个阶段的轻量级网络，用于头部姿势估计任务，与此前的方法相比，具有更高的效率和更小的空间要求，适用于移动设备。
UniHPE如何统一三种模态的人体姿态估计？
UniHPE通过同一流程中对所有三种模态进行特征对齐，即2D人体姿势估计、基于lifting和基于图像的3D人体姿态估计，并提出一种新的基于奇异值的对比学习损失函数来同时对齐多个模态，从而提高性能。
多视图法直接估计关节角度的方法有什么创新？
该方法基于多视图图像直接估计关节角度，通过结合体态姿势表示法，将旋转表示法映射到一个连续空间中，为现场运动分析提供了一种新的方法。
