本文探讨了人形机器人在“行走-操作”任务中的挑战,提出了一种集成式全身操控系统,结合强化学习、VR遥操作和触觉感知。研究者开发了具身触觉梦境的Transformer(HTD),通过多模态学习提升机器人对接触状态的理解和反应能力,简化了学习过程,旨在提高人形机器人的操作能力和灵活性。
HEAD是一种人形机器人手眼自主递送系统,结合导航、运动与触达任务。通过模块化方法,利用人类数据训练机器人在复杂环境中高效完成目标操作,成功率达到71%。未来可扩展至更复杂的抓取任务。
本文介绍了「七月在线」在机器人领域的研究,重点是通过第一人称视频训练人形机器人进行灵巧操作。EgoVLA模型利用人类视频数据,并结合少量机器人演示进行微调,提升了机器人在复杂场景中的操作能力,有效克服了传统数据采集的局限性,推动了机器人技术的发展。
本研究针对单目图像中的双手重建存在的挑战,如复杂的手势和遮挡问题,提出了一种新颖的框架,集成了基础模型驱动的2D先验和基于扩散的交互优化,以提高重建的准确性和鲁棒性。通过引入融合对齐编码器和双手扩散模型,实验表明该方法在多个数据集上实现了最先进的性能,显著改善了对遮挡的处理和交互的可靠性。
本研究提出了一种几何重新定位(GeoRT)算法,旨在解决远程操作中的手部重定向问题。该算法以无监督方式将人类手指关键点转换为机器人手关键点,具备1KHz的处理速度和高精度,提供可扩展的实时解决方案。
本研究提出了一种基于门控循环单元的变分自编码器,旨在学习机器人操控的潜在配置空间表示。该方法能够实时生成新配置,提升机器人操控的灵活性和适应性。
本研究解决了机器人在执行灵巧操作任务时与人类手部动作之间的嵌合差距问题。我们提出的方法通过生成伪监督三元组来直接推断机器人动作,从而显著优于传统的动作重定向技术,提升了机器人手部操控的效果和可靠性,推动了人机交互的进展。
Meta发布了Quest v72更新,增强了手部追踪速度,简化了与Windows 11 PC的连接方式,并改进了虚拟环境中键盘的显示支持。用户可以通过注视PC并点击“连接”按钮来连接。此外,更新提高了手部光标的稳定性,并增加了实时字幕和Instagram直接消息功能。
本研究提出了一种基于机器学习的手部状态估计方法,通过前臂肌肉活动和外骨骼运动信息重建手部开合程度,有效评估康复进展,展现出良好的应用潜力。
本文提出了PiMForce框架,结合3D手部姿态与sEMG动态肌肉活动,提高手部压力估计的准确性,克服传统方法的局限,具有广泛应用潜力。
本研究致力于解决现有基于高斯点云的手部虚拟形象在输入视角和手部姿态有限时的效果不佳问题。通过引入一个新颖的交互意识两阶段高斯框架,结合优化和学习的特征提取方法,显著提升了图像渲染质量,尤其是在手部交互区域。实验结果表明,该方法在大型数据集上的表现超越了现有技术,具有广泛的应用潜力。
该论文提出了一种基于物体形状和接触的功能性抓握合成框架,并利用ContactPose数据集评估接触建模。研究表明,通过新目标模型和自我监督任务生成的抓取姿态显著提升了抓取效果。此外,引入以关节为中心的传感器和多模态抓取扩散方法,增强了模型的泛化能力,推动了手部操作合成的进展。
本文探讨了可穿戴摄像机在手部动作识别中的应用,提出了多种手部检测和分割方法,利用图像识别技术提高手部功能评估的准确性。研究表明,结合2D手势姿态和物体姿态信息,能够有效实现自我中心动作识别,推动虚拟康复计划的发展。
瑞士洛桑联邦理工学院开发了一种可分离的机械手,能够独立爬行和抓取物体,扩展了机器臂的功能。该机械手通过磁性连接器连接,采用遗传算法和MuJoCo物理模拟器优化设计,最终设计为类似人手的五指布局,手指可双向弯曲,提升了灵活性和实用性。
本文介绍了手-物体重建模型的进展,包括HOPE-Net、IntagHand和HandNeRF等,利用图卷积网络和深度学习技术实现手部姿势和物体形状的精确重建。研究强调了解决手物互动场景中的遮挡问题的重要性,并提出结合模型与无模型方法的新网络,以提高重建的准确性和物理可信度。实验结果表明,该方法在多个基准数据集上表现优异。
该研究提出了一种基于视频的真实人物动画生成方法,结合3D模型和神经网络技术,实现了高质量的人物渲染和编辑。通过强化学习和运动捕捉数据,生成可控的动态人物动画,提升了动画的一致性和细节保真度。
该研究介绍了多种基于扩散模型的手部生成技术,包括LISA手模型、Few-Shot Learning手势识别和双手动作生成数据集BOTH57M。通过改进的生成框架和数据集,研究在手部图像生成、手物交互和姿势控制方面取得了显著进展,提升了生成质量和准确性。
本文介绍了多种基于深度学习的手部姿态估计和重建方法,如HMDN、HandOccNet和HiFiHR。这些方法有效解决了自我遮挡问题,提高了3D手部网格重建的准确性和纹理质量,并在多个基准测试中表现优异。最新的OHTA方法能够通过单张图像创建高保真的手部虚拟形象,展示了其多功能性。
本文介绍了一种基于spin match算法的多视角手部网格数据集生成方法,显著提升了手部姿态估计性能。提出的HandSSCA网络和HHMR方法实现了高效的手部网格重建,超越了现有技术。MLPHand通过轻量化设计降低了计算复杂度,同时保持了重建准确性,为手部姿态识别和网格编辑提供了新可能。
本文研究了美国手语中指拼字母的识别,提出了一种基于深度神经网络的半马尔可夫条件随机场模型,取得了较高的字母识别准确率。同时,探讨了知识蒸馏在不同任务中的应用,提升了人脸识别、目标检测和动作识别的性能,尤其在数据稀缺情况下表现突出。
完成下面两步后,将自动完成登录并继续当前操作。