一个基准超市数据集：来自单视图的真实世界点云
内容提要
该文汇总了多个三维视觉数据集，涵盖图像分类、点云分类、多视图重建、城市点云、6-DoF姿态估计、语义分割、RGB-D目标检测、城市建模、超市分割和多视角数据集，用于推动分类、重建与机器人研究。
延伸解读
数据集覆盖的多样性
文章汇总的数据集覆盖了三维视觉的多个任务，包括图像分类、点云分类、多视图重建、城市点云、6-DoF姿态估计、语义分割、RGB-D目标检测、城市建模、超市分割和多视角数据集。这些数据集在规模、标注类型和应用场景上各不相同，例如D2S专注于超市杂货的实例分割，而Building3D则针对城市建模。这种多样性为研究者提供了丰富的基准，但也意味着选择合适的数据集需要根据具体任务和场景。
真实世界数据的挑战
多个数据集强调了真实世界数据的复杂性。例如，ScanObjectNN在背景杂乱的情况下进行点云分类，Building3D存在高内类别差异、数据不平衡和大规模噪声，D2S则面临有限的训练数据和测试集、验证集高多样性等挑战。这些因素使得在真实场景中应用三维视觉算法比在理想条件下更具难度，也推动了更鲁棒方法的研究。
基线性能与提升空间
文章提到了一些基线方法的性能。例如，在杂货图像数据集上训练的基线分类器达到78.9%的平均准确率；在D2S上评估最先进的物体检测和实例分割方法，结果表明还有很大的提升空间。这些基线结果既展示了当前技术的进展，也指出了未来研究的方向，尤其是在复杂场景下，算法性能仍有待提高。
对机器人研究的支持
多个数据集直接服务于机器人研究。例如，6-DoF姿态估计数据集由玩具杂货物品组成，旨在方便机器人抓取和操纵，并提出了新的姿态评估指标ADD-H；D2S数据集包含杂货和日常用品的逐像素标签，可用于机器人感知。这些资源为机器人操作、抓取和导航等任务提供了训练和测试数据，有助于推动机器人视觉的发展。
Q&A
D2S数据集是什么？它有什么特点？
D2S（Densely Segmented Supermarket）是一个实例感知语义分割基准数据集，包含21000张高分辨率图像，具有所有对象实例的逐像素标签，涵盖60个类别的杂货和日常用品。该数据集确保标签无歧义，每个实例都有全面标注，并涵盖有限训练数据、测试集和验证集高多样性等挑战。
CO3D数据集包含哪些内容？它用于什么任务？
CO3D是一个大规模数据集，包含50种MS-COCO类别的近19,000个视频，共计1.5百万帧真实多视角图像，带有相机姿态和地面真实3D点云的注释。它用于新视角综合和类别为中心的3D重建方法的大规模“野外”评估，并提出了基于Transformer的神经渲染方法NerFormer，可根据物体的少数视角重建整个物体。
Building3D数据集有什么特点？它面临哪些挑战？
Building3D是一个城市建模数据集，包含超过160,000幢建筑物的点云、网格和线框模型，覆盖爱沙尼亚的16个城市，面积约998平方公里。它是首个最大规模的城市建模基准，面临高内类别差异、数据不平衡和大规模噪声等挑战，可用于监督学习和自监督学习方法的比较，促进城市建模、航路规划、网格简化和语义/部分分割等领域的研究。
Semantic3D.net数据集是什么？它有什么贡献？
Semantic3D.net是一个3D点云分类基准数据集，包含超过40亿个手动标记的点，用于数据密集型的深度学习方法。使用深度卷积神经网络（CNNs）的初始提交已显示出相对于现有技术的显著性能改进。该数据集提供了基线方法描述和在线系统提交方法之间的比较，旨在为3D点云标注中的深度学习方法铺平道路。
ScanObjectNN数据集解决了什么问题？
ScanObjectNN数据集用于点云对象分类，展示了其对于点云对象分类问题的挑战性，提出了三个关键挑战问题，并提出了一些解决方案，最终实现了在背景杂乱的情况下对于点云对象的分类，达到了最佳效果。
有哪些数据集用于6-DoF姿态估计？
文章介绍了一个新的数据集用于6-DoF姿态估计已知物体，在机器人操作研究方面重要。该数据集由一组玩具杂货物品组成，旨在方便机器人抓取和操纵，提供了这些物品的3D模型和RGBD图像，可用于产生合成训练数据，并提出了一个新的姿态评估指标ADD-H。
