该研究基于Ego4D数据集,提出了多种目标检测与跟踪的新方法,包括VQL框架、EasyLabel工具和PCL方法,显著提高了精度和效率。同时,研究介绍了视觉查询检测任务和大规模的自我中心数据集,推动了机器人视觉和手物交互的应用。
本文综述手物交互三维重建方法,涵盖协作学习、弱监督网格拟合、物理约束、图神经网络及单目视频拟合等,旨在提升手与物体位姿估计的精度和泛化能力。
该文综述手-物交互建模研究,涵盖GRIP等学习方法,利用时间一致性、物理碰撞检测和生成模型实现精确的手部姿态与交互重建,避免穿透,适用于单目RGB-D、多摄像头及无标注场景,并介绍MANO、SMPL+H等手部与全身模型及强化学习动态抓取合成。
该文综述机器人操作与手-物交互研究,涵盖:用图神经网络训练机器人学习常识与工具使用并泛化到工具缺失情形;提出VTacO/VTacOH视触重建框架与VT-Sim数据集;发布HANDAL可操作物体姿态与可供性数据集;无3D监督优化自然场景手-物互动重建;提出DexArt关节物体操作基准;用合成数据生成逼真抓取;提出HOLD单目视频手与物体联合重建;并研究交互对象跟踪及基于物理约束的重建。
该研究提出了一种基于物理的方法来合成全身手物交互,通过层次化框架和强化学习,成功完成了从接近物体到抓取和后续操纵的完整交互任务,并展示出比基于运动学的基线方法更具物理合理性的动作。
完成下面两步后,将自动完成登录并继续当前操作。