GTPT: 基于组别的令牌修剪变换器用于高效的人体姿势估计
内容提要
本文介绍了多种基于Transformer的人体姿态估计方法，如Token-Pruned Pose Transformer（PPT）和Distilling Pruned-Token Transformer。这些方法通过优化计算效率和准确性，在多个数据集上取得了优异的结果，推动了3D姿态估计的研究进展。
延伸解读
技术演进脉络
文章梳理了从TokenPose到PPT、Distilling Pruned-Token Transformer、PoseGPT和G-SFormer等一系列基于Transformer的人体姿态估计方法。这些工作围绕令牌剪枝、知识蒸馏、稀疏性引入和跨视图融合等策略，在降低计算复杂度的同时提升准确性，反映了该领域在效率与精度平衡上的持续探索。
效率与精度的平衡策略
PPT通过仅在选定令牌中计算自注意力减少计算量，Distilling Pruned-Token Transformer利用TokenPose输出监督PPT学习以提升PCK并降低复杂度，G-SFormer以紧凑图结构和跳过Transformer实现高效3D估计。这些方法表明，令牌剪枝和汇聚是平衡效率与精度的有效途径。
3D姿态估计的误差与先验
文章指出，随着2D关键点准确性提高，3D姿态准确性反而可能下降，原因在于相机模型偏差和2D与伪真值匹配误差。提出的阈值自适应损失缩放（TALS）惩罚大损失，并利用人体姿态的Token编码引入统一先验，以缓解模糊性，这为3D姿态估计提供了新的解决思路。
大语言模型与姿态推理
PoseGPT将SMPL姿态嵌入为多模态LLM中的独立信号标记，使模型能利用世界知识进行姿态推理，并完成假设生成和推理两项新任务。这展示了LLM在姿态分析中的潜力，为传统姿态估计方法开辟了结合语义理解的新方向。
Q&A
Token-Pruned Pose Transformer（PPT）是如何提高人体姿态估计的准确性的？
PPT通过自我注意力仅在选定的标记中计算，减少计算量，同时采用人体区域融合策略，实现了与以前方法相同的准确度。
Distilling Pruned-Token Transformer的主要优势是什么？
该方法利用TokenPose的输出监督PPT的学习过程，显著提高PCK并降低计算复杂度。
PoseGPT框架的创新之处在哪里？
PoseGPT利用大型语言模型理解和推理3D人体姿势，简化姿势预测并赋予LLMs应用世界知识的能力。
G-SFormer方法如何实现高效的三维人体姿态估计？
G-SFormer通过自适应拓扑和跳过Transformer架构，捕捉长程时序依赖并实现分层特征聚合。
新提出的阈值自适应损失缩放（TALS）方法解决了什么问题？
TALS方法解决了2D和3D姿态估计中的误差问题，通过惩罚较大的损失来提高准确性。
TokenPose方法与传统CNN方法相比有什么优势？
TokenPose在参数和计算量上减少，但准确度与CNN方法相当，提供了更高的效率。
