RDT——清华开源的双臂机器人“扩散动作大模型”(基于DiT改造而成)：先预训练后微调，支持语言、图像、动作多种输入
💡
原文中文，约6600字，阅读约需16分钟。
📝
内容提要
清华大学研发了全球最大的双臂机器人扩散大模型RDT 2.1，旨在通过多机器人数据集进行预训练，并在特定双臂机器人上微调，以应对双手操作中的多模态性和数据异构性挑战。该模型结合了扩散建模和Transformer架构，整合视觉与语言输入，提升机器人在复杂任务中的表现。
🎯
关键要点
- 清华大学研发了全球最大的双臂机器人扩散大模型RDT 2.1。
- RDT 2.1通过多机器人数据集进行预训练，并在特定双臂机器人上微调。
- 该模型旨在应对双手操作中的多模态性和数据异构性挑战。
- RDT结合了扩散建模和Transformer架构，整合视觉与语言输入。
- 模型的预训练和微调流程旨在扩大数据规模，提升机器人在复杂任务中的表现。
- RDT选择ALOHA双臂机器人作为目标机器人，适合通过远程操作收集人类演示数据。
- 模型面对的挑战包括多模态性和异构数据的处理。
- 扩散建模用于处理多模态性，避免学习动作模式的平均值。
- RDT的架构包括多模态输入的编码和网络结构，采用Transformer作为骨干网络。
- 模型通过统一的动作空间设计，增强从不同机器人数据中学习的效率。
- 预训练数据集规模超过1M+条轨迹，涵盖46个机器人的数据集。
- 微调数据集包含6000多个轨迹，涵盖300多个具有挑战性的任务，确保数据集的高质量。
❓
延伸问答
RDT 2.1模型的主要目标是什么？
RDT 2.1模型的主要目标是通过多机器人数据集进行预训练，并在特定双臂机器人上微调，以应对双手操作中的多模态性和数据异构性挑战。
RDT模型如何处理多模态性和异构数据？
RDT模型通过扩散建模来处理多模态性，并采用统一的动作空间设计来增强从不同机器人数据中学习的效率，以应对异构数据的挑战。
RDT模型的预训练和微调流程是怎样的？
RDT模型首先在一个大型多机器人数据集上进行预训练，然后在目标双臂机器人上进行微调，以提高模型在复杂任务中的表现。
RDT模型使用了哪些技术架构？
RDT模型结合了扩散建模和Transformer架构，整合视觉与语言输入，以提升机器人在复杂任务中的表现。
RDT模型在数据集方面有什么特点？
RDT模型的预训练数据集规模超过1M+条轨迹，涵盖46个机器人的数据集，微调数据集包含6000多个轨迹，确保数据集的高质量。
RDT模型选择ALOHA双臂机器人作为目标的原因是什么？
ALOHA双臂机器人被选择为目标机器人，因为它被认为是最具代表性的双臂机器人之一，适合通过远程操作收集人类演示数据。
➡️
