多模态视觉触觉表示学习通过自监督对比预训练
内容提要
该文综述视觉与触觉多模态表示学习研究，涵盖：以自监督学习触觉—视觉紧凑表示提升高维输入控制策略的样本效率，并在仿真与真实机器人实验中验证鲁棒性与泛化能力；利用条件生成对抗网络实现视觉与触觉图像跨模态生成；提出掩码多模态学习（M3L）联合学习策略与表示；融合视觉和触觉反馈预测动态场景物体运动；结合内部数据属性与跨模态语义的对比损失改进视觉表示；提出触觉适应视觉奖励框架TAVI；提出深度最大协方差分析（DMCA）学习共享潜在空间实现纹理识别；从多视角无标注视频演示中学习视觉表示；将触觉传感引入视频预测模型。
延伸解读
自监督学习为何能提升样本效率
文章指出，传统方法在处理未结构化环境下的接触丰富型操作时存在局限，而自监督学习触觉—视觉紧凑表示能改善高维输入控制策略的样本效率。这意味着机器人可以通过无标注数据预先学习多模态特征，减少对大量标注样本的依赖，从而在仿真和真实实验中表现出鲁棒性与泛化能力。
跨模态生成与共享空间的不同路径
文章列举了两种融合思路：一是利用条件生成对抗网络在视觉与触觉图像之间进行跨模态生成，以扩充不易获取的感官数据；二是通过深度最大协方差分析（DMCA）学习共享潜在空间，实现纹理识别并达到超过90%的性能。前者侧重数据增强，后者侧重特征对齐，反映了多模态表示学习的多样性。
触觉反馈在动态预测与强化学习中的价值
文章提到，融合视觉和触觉反馈的框架能预测动态场景中物体的运动，而将触觉传感引入视频预测模型也有助于提高场景预测准确性。此外，TAVI框架利用视觉奖励优化触觉适应策略，在多指机器人上取得可观成功率。这些工作表明，触觉信息不仅用于感知，还能直接服务于预测与控制任务。
从演示视频中学习视觉表示的进展
文章介绍了一个从多视角无标注视频演示中学习视觉表示的框架，通过对比学习增强任务相关信息并抑制无关信息。在模拟的pick and place等任务中，该方法在视点对齐、阶段分类和强化学习三个指标上均优于现有方法，且训练轮数更少。这提示无标注视频数据可作为机器人视觉表示学习的有效来源。
Q&A
如何用自监督学习提升机器人操作策略的样本效率？
通过自监督方式学习触觉和视觉的紧凑多模态表示，结合两种反馈来改善高维输入控制策略的样本效率，并在仿真和真实机器人实验中验证了鲁棒性和泛化能力。
视觉和触觉之间如何实现跨模态生成？
利用条件生成对抗网络生成视觉或触觉图像，实现视觉和触觉知觉的跨模态感知，在ViTac数据集上的实验表明能生成逼真数据，有潜力扩大分类任务数据集并推进视触觉整合。
M3L方法是什么，有什么优势？
M3L是掩码多模态学习方法，在强化学习环境中联合学习策略和视觉触觉表示，能提高样本效率，并超越单个感官的泛化能力。
如何利用视觉和触觉预测动态场景中物体的运动？
提出一种感知框架，融合视觉和触觉反馈，利用新型STS传感器捕捉物体视觉外观和触觉特性，通过多模态VAE结合两种模态，推断未来物理交互结果。
TAVI框架如何提升多指机器人操作性能？
TAVI是触觉适应视觉奖励框架，通过在线强化学习利用视觉奖励优化敏感性策略，在多指机器人上取得了可观的成功率并提高了性能。
DMCA方法在纹理识别中效果如何？
DMCA是深度最大协方差分析方法，用于学习共享视觉和触觉信息的联合潜在空间，通过图像和触觉感知实现纹理识别，识别性能超过90%。
