STMR:螺旋变压器用于手部网格重建

💡 原文中文,约300字,阅读约需1分钟。
📝

内容提要

本研究提出了一种名为METRO的新方法,使用变压器编码器建模顶点-顶点和顶点-关节交互,并从单个图像中输出3D关节坐标和网格顶点。该方法在处理局部遮挡等情况方面更加鲁棒和有效,并在人类网格重建和野外3D手重建方面取得了最先进的结果。

🎯

关键要点

  • 本研究提出了一种名为METRO的新方法。
  • METRO使用变压器编码器建模顶点-顶点和顶点-关节交互。
  • 该方法从单个图像中输出3D关节坐标和网格顶点。
  • METRO不依赖于任何参数化网格模型,易于扩展到其他对象。
  • 该方法在处理局部遮挡等挑战性情况方面更加鲁棒和有效。
  • 在Human3.6M和3DPW数据集上,METRO在人类网格重建中取得了最先进的结果。
  • METRO在FreiHAND数据集上表现优于现有最先进方法,展示了其在野外3D手重建的泛化能力。
➡️

继续阅读