ADL4D：针对 4D 日常生活活动的上下文丰富数据集
内容提要
该文汇总了人-物交互（HOI）领域的数据集与算法研究，涵盖HOI4D、D3D-HOI、HANDAL、HOH、HO-3D等，涉及4D视觉、姿态估计、交接捕捉及交互识别，并提出HPN、Ins-HOI等方法，在V-COCO、HICO-DET等基准上验证有效性。
延伸解读
数据集多样性：从4D视觉到交接捕捉
文章汇总了多个HOI数据集，涵盖不同侧重点：HOI4D提供大规模4D视觉信号和类别级注释；D3D-HOI关注单目视频中关节物体的三维姿态与部件运动；HANDAL专注于可操作物体的类别级姿态估计；HOH是唯一完全无标记的交接捕捉数据集，包含多视角RGB-D、骨骼、点云等丰富标注；HO-3D_v2/v3提供手-物三维姿态注释。这些数据集在场景、对象和任务上互补，为HOI研究提供了多样化的基础。
方法创新：从交互识别到隐式重建
文章提及了多种HOI方法：HPN利用层次化空间时间线索进行交互对象发现；Ins-HOI通过实例级占据场实现人-物交互的详细重建，能生成非可见接触表面；还有基于手腕摄像头和CNN的日常活动识别方法，以及基于人体姿态、注视和距离的社交交互识别方法，并采用硬负样本采样策略解决误分类。这些方法在V-COCO、HICO-DET等基准上验证了有效性，展示了HOI领域的技术进展。
评估与进展：基准任务和性能提升
文章指出，HOI4D建立了三个基准任务以促进研究；HANDAL概述了在6自由度类别级姿态+尺度估计等任务中的有用性；HO-3D_v3相比v2在手部姿势精度上提高了4毫米，且与物体表面的接触区域更大。这些评估结果显示了数据集和方法的迭代改进，为后续研究提供了可量化的参考。同时，文章也提到需要解决一些瓶颈以推动数据收集的普及化。
Q&A
HOI4D数据集有什么特点？
HOI4D数据集具有丰富的注释，包含大规模的4D视觉信号和人类-物体交互类别级别的注释，并建立了三个基准任务来促进该领域的进一步研究。
D3D-HOI数据集是什么？
D3D-HOI是一种包含具有三维物体姿态、形状和部件运动的人-物交互的单目视频的数据集，其对各种现实世界场景和摄像机视角捕获的常见关节对象进行了表示，可用于评估收缩的对象质量和建立对该挑战性任务的基准。
HANDAL数据集有什么用途？
HANDAL数据集用于类别级别的物体姿态估计和可用性预测，专注于适合机器人操纵的具有适当大小和形状的可操作物体，如钳子、器具和螺丝刀。该数据集由来自212个真实世界物体的17个类别的2.2k个视频的308k个带注释的图像帧组成，并提供了所有物体的三维重建网格。
HOH数据集包含哪些内容？
HOH（Human-Object-Human）交接数据集包含136个物体的大型物体计数数据集，包含多视角的RGB和深度数据、骨骼、融合点云、抓取类型和惯用手标签、物体、给予者手和接收者手的二维和三维分割、给予者和接收者的舒适度评分，以及配对的物体元数据和对齐的三维模型，包括2,720个交接互动，涵盖136个物体和20个给予者-接收者对，其中40个具有角色颠倒，以40个参与者为基础组织。
Ins-HOI方法是什么？
Ins-HOI是一种通过实例级隐式重建的端到端解决方案，用于恢复人与物体之间的详细交互。它引入了实例级占据场来支持同时表示人/手和对象，并使用补充训练策略处理实例级基准缺失的问题。该方法能够在极近交互的情况下生成合理和真实的非可见接触表面，并提供了一个大规模高保真度的3D扫描数据集用于研究。
HO-3D_v3与HO-3D_v2相比有什么改进？
HO-3D_v3的手部姿势精度比HO-3D_v2高4毫米，同时与物体表面的接触区域更大。
