SC3K: 自监督的、一致性的 3D 关键点估计方法,适用于旋转、噪声和降采样的点云数据
原文中文,约500字,阅读约需2分钟。发表于: 。提出了一种新方法来从噪声、降采样和任意旋转的实际场景中对任意对象类别进行关键点推断的方法,该方法是完全无监督的,关键点位置误差低,对点云数据扰动具有弹性,关键点保持其索引的语义一致性,且靠近点云数据表面,并在对象的三维形状下游任务中具有改进的覆盖范围和语义一致性。
三维姿势转换的主要挑战是缺乏配对训练数据、难以分离姿势和形状信息、难以应用于不同拓扑结构的网格。为了克服这些困难,提出了一种弱监督基于关键点的框架。该方法使用关键点检测器和逆向运动学计算源网格与目标网格之间的变换,只需要对关键点进行监督,可以应用于不同拓扑结构的网格,并从目标网格中提取仅限于姿势的信息。通过循环重建实现自监督姿势转换,无需与目标和源相同姿势和形状的地面实况变形网格。在人类和动物数据集上评估结果显示,该方法性能优越,与无监督和完全监督方法相比具有可比性。在Mixamo数据集上的测试进一步验证了该方法处理不同拓扑结构和复杂服装的能力。跨数据集评估展示了该方法的强大泛化能力。