STAR：用于改进物体检测和 6D 位姿估计的形状聚焦的纹理无关表征
内容提要
该文综述纹理缺失物体的6D位姿估计与三维重建，涵盖T-LESS数据集、神经纹理学习、域随机化自编码器、Mask-RCNN检测、单图三维重建及GeLaTO紧凑表示等方法，并涉及相关基准测试与数据集，旨在解决遮挡、对称性和纹理缺失等挑战。
延伸解读
纹理缺失物体位姿估计的挑战与数据集
纹理缺失物体因缺乏表面纹理，传统特征匹配方法难以奏效，且遮挡和对称性会进一步增加6D位姿估计的难度。T-LESS数据集专门针对此类刚性物体，提供训练和测试图像以及两种3D模型，为算法评估提供了基准。该数据集揭示了在显著遮挡下位姿估计的挑战，推动了后续研究。
形状聚焦表征与纹理无关学习
针对卷积神经网络可能偏向纹理信息的问题，有研究通过引入与图片纹理信息矛盾的图片进行训练，以平衡网络对形状和纹理的依赖，提升模型在多个图像识别基准和对抗性鲁棒性上的表现。这种形状聚焦的纹理无关表征有助于在纹理缺失场景下更准确地估计物体位姿。
域随机化与自编码器在位姿估计中的应用
基于域随机化训练的三维模型模拟视图，采用变体的降噪自编码器（增强自编码器）进行三维方向估计，无需真实标注训练数据，适用于多种传感器，并能固有处理物体和视角对称性。该方法在T-LESS数据集的RGB和RGB-D领域取得最新成果，并在LineMOD数据集上与其他合成训练方法竞争。
单图三维重建与紧凑表示方法
对于纹理缺失表面的单图三维重建，数据驱动方法可预测网格、法线或深度图，但研究表明网格形式不适用于此类表面。GeLaTO紧凑表示结合粗略形状代理和神经纹理，编码几何与视角相关外观，通过U-Net生成逼真图像，可用于复杂物体重建。这些方法为纹理缺失物体的三维理解提供了新途径。
Q&A
T-LESS数据集是什么？它有什么特点？
T-LESS数据集用于计算纹理少的刚性物体的6D位姿，包含测试和训练图像，并提供两种类型的3D模型，同时揭示了该领域在显著遮挡情况下的挑战。
如何解决神经网络对形状或纹理的偏向性问题？
通过引入与图片纹理信息矛盾的图片来训练卷积神经网络，可以解决网络对于形状或纹理的偏向性问题，并在多个图像识别基准测试和对抗性鲁棒性方面提高模型表现。
基于域随机化的增强自编码器在6D位姿估计中有什么优点？
增强自编码器不需要真实标注的训练数据，适用于各种测试传感器，能固有地处理物体和视角对称性，并在T-LESS数据集的RGB和RGB-D领域取得最新成果。
从单张图片重建纹理缺失表面的三维结果，哪种表示形式更适用？
研究表明，在纹理缺失表面的三维重建中，网格并不适用，而法线或深度图等形式可能更合适。
GeLaTO紧凑表示法是如何工作的？
GeLaTO结合了描述低频几何的粗略形状代理和学习的神经纹理，以编码介质和细尺度几何以及视角相关的外观，并应用U-Net将代理分别光栅化与对应的神经纹理进行组合，生成具有逼真外观的图像。
针对6D姿态估计的基准测试主要测试哪些方面？
该基准测试主要针对从3D模型（有纹理和无纹理）训练、可扩展性、遮挡、光照和物体外观的变化等方面测试6D姿态估计算法的性能，并使用最先进的DPOD检测器来设置基线。
