Meta的NeuralFeels技术使机械手能够自学操作未知物体，精度提升94%。该技术结合触觉与视觉，克服了传统训练对视觉的依赖，显著提高了物体重建和姿态跟踪的准确性，尤其在复杂环境中表现突出。

自动化的崛起为制造过程提供了机会，但缺乏灵活性。人机协作结合机器和人类的能力来解决这个问题。本文提出了一个基于机器学习的自主机械臂框架，利用扩展现实促进人与机器的交流和编程。同时，人类参与机器学习过程，实现更高的适应性和任务通用化。强调关键技术和数字生态系统的发展。回顾了扩展现实在人机协作中的实施方法，讨论了挑战和未来展望。探讨了扩展现实在工业领域实现更自然的人机交互和融合的障碍和研究方向。

本研究在可控且现实的环境中直接训练强化学习算法，测试了三种算法在复杂手持操作任务中的效果，结果展示了RL训练在实际应用中的实用性及相关挑战，为机器人领域的研究者和从业者提供了宝贵的经验和启示。

通过引入 Continual Policy Distillation（CPD）框架，该研究介绍了一种实现多功能控制器的方法，以用于四指软抓手对不同形状和大小的物体进行旋转操作的柔性机器人手。该框架利用策略蒸馏（PD）从专家策略向不断发展的学生策略网络传递知识，并集成样本回放方法以增强泛化能力和避免灾难性遗忘。研究结果表明，CPD 框架在整合多个专家知识和实现多功能自适应手部操作任务方面具有较好的性能。

RealDex数据集捕捉了真实灵巧手部抓握动作，并融入了人类行为模式和多视角多模态的视觉数据。使用远程操作系统，实时同步人-机器手的姿态。RealDex对于训练灵巧手模仿人类动作至关重要，对推动人形机器人在现实世界场景中的自动感知、认知和操作具有巨大潜力。论文还介绍了一种先进的灵巧抓握动作生成框架，通过利用多模态的大型语言模型和人类经验，增强了其在现实世界的应用能力。实验证明了该方法在RealDex和其他公开数据集上的出色性能。

研究人员提出了一种新的损失函数，用于改善机械手逆动力学的控制性能。实验结果显示该方法比传统方法更准确，并在死区中的模型行为得到验证和讨论。

本文介绍了一种新颖的方法，利用大型语言模型定义奖励参数，结合实时优化器MuJoCo MPC，优化和实现各种机器人任务。作者在模拟仿真机器人和机械手上进行了17个任务的评价，成功解决了90%的任务，并在真实机器人手臂上验证了方法的有效性。

这是一个使用bevy引擎开发的UR机械手demo程序，实现了机械手的正运动学计算，并实时渲染显示。