PostoMETRO：姿态标记增强的网格变压器用于稳健的 3D 人体网格恢复
内容提要
本研究提出了MEsh TRansfOrmer（METRO）方法，利用变压器编码器建模3D人体网格和关节坐标，具有较强的鲁棒性，能够有效处理局部遮挡问题。该方法在Human3.6M和3DPW数据集上表现优异，并在FreiHAND数据集上超越现有技术。同时，研究探讨了多视角和时间信息的结合，提升了3D姿态估计的准确性和效率。
延伸解读
METRO 的核心创新
METRO 使用变压器编码器同时建模顶点-顶点和顶点-关节交互，直接从单张图像输出 3D 关节坐标和网格顶点，不依赖参数化网格模型。这种设计使其能轻松扩展到其他对象，如手的 3D 重建，并在处理局部遮挡时表现出更强的鲁棒性。
性能表现与泛化能力
在 Human3.6M 和 3DPW 数据集上，METRO 为人类网格重建取得了最新的最先进结果。此外，在 FreiHAND 数据集上，其性能优于现有最先进方法，展示了在野外 3D 手重建任务上的泛化能力。
多视角与时间信息的结合
研究还探讨了结合多视角和时间信息、几何关系以及 2D 姿态检测可信度的方法，以解决多视图下遮挡和受限重叠视图的 3D 人体姿势估计挑战。实验表明，该方法在传统三角定位方法难以处理的遮挡和视图受限场景中效果显著。
Q&A
METRO方法的主要创新点是什么？
METRO方法使用变压器编码器建模3D人体网格和关节坐标，能够有效处理局部遮挡问题。
METRO方法在数据集上的表现如何？
METRO方法在Human3.6M和3DPW数据集上取得了最新的最先进结果，并在FreiHAND数据集上超越了现有技术。
METRO方法如何提高3D姿态估计的准确性？
该方法结合了多视角和时间信息，提升了3D姿态估计的准确性和效率。
METRO方法的鲁棒性体现在什么方面？
METRO方法在处理局部遮挡等具有挑战性情况方面表现出较强的鲁棒性和有效性。
METRO方法是否可以扩展到其他对象？
是的，METRO方法可以轻松扩展到其他对象，如手的3D重建。
METRO方法的实现原理是什么？
METRO方法使用变压器编码器建模顶点间和顶点与关节间的交互，从单个图像中输出3D关节坐标和网格顶点。
