本论文介绍了RealDex数据集，用于捕捉真实灵巧手部抓握动作，并提供多视角和多模态的视觉数据。同时，介绍了一种先进的灵巧抓握动作生成框架，通过利用多模态的大型语言模型和人类经验，增强了其在现实世界的应用能力。实验证明了该方法在RealDex和其他公开数据集上的出色性能。

RealDex数据集捕捉了真实灵巧手部抓握动作，并融入了人类行为模式和多视角多模态的视觉数据。使用远程操作系统，实时同步人-机器手的姿态。RealDex对于训练灵巧手模仿人类动作至关重要，对推动人形机器人在现实世界场景中的自动感知、认知和操作具有巨大潜力。论文还介绍了一种先进的灵巧抓握动作生成框架，通过利用多模态的大型语言模型和人类经验，增强了其在现实世界的应用能力。实验证明了该方法在RealDex和其他公开数据集上的出色性能。