多模态交接失败检测数据集与基线
内容提要
该文综述人机物体交接研究，涵盖基于学习的动态交接、多指手系统、大规模无标记数据集、类人双臂运动生成、合成抓取数据、视觉递送策略、注视意图预测及多模态远程操作，以推动自然高效的人机协作。
延伸解读
数据集规模与特点
HOH数据集包含136个物体、20个给予者-接收者对（其中40对具有角色颠倒），共2720次交接互动。作为完全无标记的交接捕捉数据集，它提供了多视角RGB和深度数据、骨骼、点云、抓取类型和惯用手标签、手部二维和三维分割、舒适度评分等，克服了标记数据集需要特定身体跟踪且缺乏高分辨率手部跟踪的挑战。
技术方法多样性
文章涵盖了多种技术方法：基于学习的动态交接通过上下文策略搜索适应人体运动；多指手系统利用多智能体强化学习和Sim2Real转移；类人双臂运动生成使用隐藏半马尔可夫模型；视觉递送策略采用两阶段教师-学生框架；意图预测结合注视和运动特征。这些方法展示了人机交接研究的不同技术路径。
仿真与真实环境的差距
多个研究强调了仿真到真实（Sim2Real）转移的重要性。例如，多指手系统在模拟中训练后转移到真实机器人；视觉递送策略在模拟到模拟和模拟到真实的转换中显著提高性能；合成抓取数据方法通过纯合成数据训练，在模拟和真实系统中与依赖真实数据的方法相媲美。这表明仿真环境是训练机器人交接策略的有效工具，但真实环境验证仍不可或缺。
Q&A
HOH数据集是什么？它包含哪些数据？
HOH（Human-Object-Human）是一个大型物体交接数据集，包含136个物体、20个给予者-接收者对（其中40个具有角色颠倒），共2,720个交接互动。它提供多视角RGB和深度数据、骨骼、融合点云、抓取类型和惯用手标签、物体/给予者手/接收者手的2D和3D分割、舒适度评分、配对的物体元数据和对齐的3D模型。
HOH数据集在交接研究中有哪些优势？
HOH是唯一的完全无标记交接捕捉数据集，代表了自然的人际交接互动，克服了标记数据集需要特定适应身体跟踪且缺乏高分辨率手部跟踪的挑战。它在物体数量、参与者、角色颠倒对数和总交互数量方面是迄今为止最大的交接数据集。
如何生成类人双臂运动以实现顺畅的人机物体交接？
提出一个框架来生成运动学约束的类人双手机器人运动。使用隐藏半马尔可夫模型（HSMM）根据观察到的人的动作生成适当的响应轨迹，并通过任务空间约束调整轨迹以确保准确的递交。试点研究表明，与基线逆运动学方法相比，该方法被认为更类似于人类。
基于视觉的人机递送控制策略学习框架有什么特点？
这是第一个适用于基于视觉的人机递送控制策略学习的框架，使用带动态仿真环境的两阶段教师-学生框架，结合运动规划、抓握规划、强化学习和自我监督等方法。它能在模拟实验基准测试、模拟到模拟的转换和模拟到真实的转换中显著提高性能，并为解决仿真人类问题提供了新思路。
如何利用注视和运动特征预测人类意图以用于人机协作？
使用自然注视和运动特征来预测当前动作和目标对象的意图估计框架，可在较拥挤的场景中在单手或双手操作时进行训练和测试，并提出了一个基于规则的模型来识别双手操作。此外，还有研究介绍了一种预测和规划机制，通过目光和手势作为模型输入来预测人类意图，并实时移动向人类指定的位置，以实现高效安全的物体递交。
多模态移动远程操作系统Transteleop是如何工作的？
Transteleop是一个多模态移动远程操作系统，由基于视觉的手部姿态回归网络和基于IMU的臂部追踪方法组成。它使用低成本深度摄像头观察人手，通过图像到图像的转换过程生成配对机器人手部姿势的深度图像，并具备同时手-臂控制的可穿戴相机支架。关键点重建损失探索了人类和机器人手之间在外观和解剖上的相似之处，并丰富了重建图像的局部特征。
