HybridVLA——让单一LLM同时具备扩散和自回归动作预测能力：训练时既扩散也回归，但推理时则扩散
💡
原文中文，约7200字，阅读约需18分钟。
📝
内容提要
HybridVLA是一种新型视觉-语言-动作模型，结合自回归和扩散策略，旨在提升机器人在动态环境中的操作能力。通过协同训练，该模型有效整合两种生成方法的优势，提高了动作预测的准确性和鲁棒性，并在多样化数据集上展现出优越的性能。
🎯
关键要点
- HybridVLA是一种新型视觉-语言-动作模型，结合自回归和扩散策略，提升机器人在动态环境中的操作能力。
- 该模型通过协同训练整合两种生成方法的优势，提高动作预测的准确性和鲁棒性。
- VLA模型使机器人能够理解视觉观测和语言条件，从而生成具有泛化能力的控制动作。
- 现有VLA方法存在量化过程破坏动作姿态连续性的问题，而HybridVLA通过协同训练方案解决了这一问题。
- HybridVLA采用分阶段训练方法，首先进行大规模预训练，然后在下游任务上进行微调。
- 模型在多样化的机器人数据集上进行预训练，涵盖76万条轨迹和超过1万小时的训练时间。
- HybridVLA的架构包括视觉编码器和大型语言模型（LLM），通过特定的token序列构建实现多模态输入。
- 协同训练方案设计了token序列构建、混合目标和结构化训练阶段，以确保生成过程的稳定性和一致性。
- 在推理过程中，HybridVLA结合扩散和自回归方法生成动作，并通过自回归动作token的置信度指导动作集成。
- 实验结果表明，基于扩散的预测在精确操作任务中表现优异，而自回归预测在需要场景语义推理的任务中更为有效。
❓
延伸问答
HybridVLA模型的主要功能是什么？
HybridVLA模型结合自回归和扩散策略，提升机器人在动态环境中的操作能力。
HybridVLA是如何提高动作预测的准确性和鲁棒性的？
通过协同训练整合自回归和扩散生成方法的优势，HybridVLA提高了动作预测的准确性和鲁棒性。
HybridVLA的训练过程是怎样的？
HybridVLA采用分阶段训练方法，首先进行大规模预训练，然后在下游任务上进行微调。
HybridVLA在推理过程中如何生成动作？
在推理过程中，HybridVLA结合扩散和自回归方法生成动作，并通过自回归动作token的置信度指导动作集成。
HybridVLA与传统VLA方法相比有哪些优势？
HybridVLA通过协同训练方案解决了传统VLA方法中量化过程破坏动作姿态连续性的问题，并有效整合了两种生成方法的优势。
HybridVLA在不同任务中的表现如何？
实验表明，基于扩散的预测在精确操作任务中表现优异，而自回归预测在需要场景语义推理的任务中更为有效。
➡️
