带RL的机器人：从类似预测下一个token的伯克利Digit到CMU 18万机器人
内容提要
RoboFlamingo是一个开源机器人操作模型，利用大型视觉-语言基础模型进行训练，能够在复杂的机器人操作任务中表现出色。RoboFlamingo通过视觉编码器、特征融合解码器和策略头部三个模块实现机器人每一步的动作预测。实验结果显示，RoboFlamingo在各种设置和指标上的性能都很好。这项工作为机器人技术研究者提供了一个强大的开源框架，能够更容易地发挥开源视觉-语言模型的潜能。
延伸解读
RoboFlamingo的轻量化设计
RoboFlamingo基于OpenFlamingo开发，只需单机训练，且仅微调少量参数（如resampler、cross attention和policy head），降低了使用门槛。与RT-2等需要大量视觉-语言数据联合微调的方法相比，它更易于复现和部署，适合资源有限的研究者。
数据效率与性能表现
在CALVIN数据集上，RoboFlamingo仅使用1%的带语言标注数据就取得了SOTA性能，展示了其高效的数据利用能力。消融实验表明，预训练和指令微调对性能提升至关重要，且通过policy head融合历史信息能显著改善动作预测。
与现有工作的对比
不同于SayCan和PaLM-E依赖LLM规划或协同微调，RoboFlamingo直接微调VLM生成底层动作，无需额外低级策略。相比RT-1等整体训练的大模型，它更简单直观，且开源易用，为机器人操作提供了新思路。
Q&A
RoboFlamingo是什么？它有什么特点？
RoboFlamingo是机器人领域首个开源视觉-语言操作大模型，由字节跳动基于OpenFlamingo开发。它只需单机训练，通过少量微调即可将视觉语言模型（VLM）适配为机器人操作模型，在CALVIN数据集上仅用1%带语言标注的数据就取得了SOTA性能。
RoboFlamingo的模型架构包含哪些模块？
RoboFlamingo包含三个主要模块：视觉编码器（Vision Encoder）、特征融合解码器（Feature Fusion Decoder）和策略头部（Policy Head）。视觉编码器由ViT和重采样器构成，将图像编码为视觉token序列；特征融合解码器通过交叉注意力和自注意力融合视觉与语言特征；策略头部根据融合后的特征输出7自由度相对动作（6维机械臂末端位姿和1维夹爪开合）。
RoboFlamingo在哪些数据集上进行了验证？效果如何？
RoboFlamingo在CALVIN数据集上进行了验证。实验结果表明，它仅利用1%的带语言标注数据就在一系列机器人操作任务上取得了SOTA性能，并且在各项设置和指标上均表现最佳，展现了强大的模仿能力、视觉泛化能力和语言泛化能力。
RoboFlamingo相比其他机器人操作模型有什么优势？
相比RT-1、PaLM-E等模型，RoboFlamingo是一个简单直观的解决方案，可以轻松适应现有VLM，只需微调少量操作演示。它不需要大量视觉语言数据和计算资源，且开源易用，降低了使用门槛，为机器人研究者提供了强大框架。
RoboFlamingo的训练过程中哪些部分被微调？
在训练过程中，RoboFlamingo利用预训练的ViT、LLM和交叉注意力参数，并只微调重采样器（resampler）、交叉注意力（cross attention）和策略头部（policy head）的参数。
RoboFlamingo的消融实验有哪些主要发现？
消融实验发现：1）不同的策略头部中，GPT和LSTM表现最好，说明通过策略头部融合历史信息有效；2）视觉-语言预训练对性能提升至关重要；3）模型大小并非绝对，较小模型也能在某些任务上与大型模型媲美；4）指令微调可以进一步提高模型性能。
