M2R2:多模态机器人表示用于时间动作分割
📝
内容提要
本研究解决了时间动作分割(TAS)领域中多模态特征重用的问题,提出了一种结合本体感知和外部感知的多模态特征提取器M2R2,以及一种新颖的预训练策略,从而在多个TAS模型间重用学习到的特征。研究结果表明,该方法在复杂的多模态机器人组装数据集REASSEMBLE上取得了领先的表现,超越了现有的机器人动作分割模型,提升幅度达46.6%。
🏷️
标签
➡️