DecisionNCE: 通过隐式偏好学习实现的具身多模态表示
内容提要
该文综述多模态视觉表征与机器人操控研究，通过多任务微调预训练视觉编码器，并利用任务融合解码器改进R3M、MVP、EgoVLP等表示以提升下游操控性能；同时涉及对比学习、概率分布编码、多模态提示与CriticGPT偏好反馈等方法，增强迁移与规划能力。
延伸解读
任务融合解码器如何提升视觉编码器
文章提出通过多任务微调预训练视觉编码器，并利用任务融合解码器指导表示学习。该方法在R3M、MVP和EgoVLP三种先进编码器上进行了实验，结果表明其能改进表示质量，从而提升下游机器人操控策略的学习性能。这为利用现有视觉编码器增强具身任务提供了一种可复用的思路。
多模态偏好学习在机器人决策中的角色
文章涉及CriticGPT，一种多模态语言模型，能够理解机器人操纵任务中的轨迹视频并提供偏好反馈。实验表明，其生成的偏好标签有效，且奖励模型能指导策略学习，在Meta-World任务上超越了基于最新预训练表示模型的奖励。这展示了偏好学习在机器人决策中的潜力。
概率分布编码与不确定性建模
文章提到概率分布编码器（PDE），将所有模态的表示映射为概率分布，以对不确定性建模。基于此的预训练任务在视觉和语言联合任务上取得了最先进的结果。这提示在具身多模态表示中，显式建模不确定性可能有助于提升泛化能力。
Q&A
DecisionNCE 如何通过多任务微调改进视觉编码器？
DecisionNCE 使用多任务微调在预训练视觉编码器上学习感知技能，并通过任务融合解码器指导表示学习，使编码结构能更好地表示重要信息，从而提升下游机器人操控任务。
DecisionNCE 在哪些视觉编码器上进行了实验验证？
DecisionNCE 在三种最先进的视觉编码器上进行了实验验证，包括 R3M、MVP 和 EgoVLP。
DecisionNCE 的实验结果如何？
大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对 R3M、MVP 和 EgoVLP 的表示进行了改进，提升了下游操控策略的学习性能。
CriticGPT 在机器人操控中起什么作用？
CriticGPT 是一个多模态语言模型，能够理解机器人操纵任务中的轨迹视频，提供分析和偏好反馈，并验证生成的偏好标签的有效性。实验表明其对新任务具有有效的泛化能力，在 Meta-World 任务上的奖励模型能有效指导策略学习，超越了基于最新预训练表示模型的奖励。
概率分布编码器（PDE）是如何对不确定性建模的？
PDE 将所有模态的表示作为概率分布映射，对不确定性建模，并提出了基于概率分布的预训练任务，在视觉和语言联合任务上实现了最先进的结果。
VIMA-BENCH 上多模式提示方法取得了什么成果？
通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，模型展示了显著的情境学习能力。
