几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建
原文中文,约300字,阅读约需1分钟。发表于: 。通过提出一种新颖的编码器 - 解码器 Transformer 架构,结合多视角和时间信息、几何关系和 2D 姿态检测可信度,我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。
该研究旨在提高Transformer在多视图三维人体姿势估计中的推理能力。通过引入MVGFormer混合模型,该模型采用几何和外观模块,以迭代方式组织。几何模块处理依赖于视角的三维任务,改善了模型的泛化能力。外观模块用于从图像信号中估计二维姿势,即使在遮挡时也能准确估计。经过评估,该模型在领域外表现优于最先进的方法。