SmolVLA——Hugging Face等机构推出的轻量且高效的VLA：将动作执行、观测处理、动作预测解耦
💡
原文中文，约10300字，阅读约需25分钟。
📝
内容提要
自6月以来，团队在机器人领域快速推进，开发了SmolVLA模型，以提升机器人在新环境中的适应能力。该模型结合视觉、语言和动作（VLA），优化了训练和推理效率，并利用社区数据进行预训练，展现出强大的泛化能力和性能。
🎯
关键要点
- 自6月以来，团队在机器人领域快速推进，开发了SmolVLA模型。
- SmolVLA模型结合视觉、语言和动作（VLA），提升机器人在新环境中的适应能力。
- 该模型优化了训练和推理效率，并利用社区数据进行预训练。
- SmolVLA展现出强大的泛化能力和性能，尽管使用的数据量较少。
- 模型采用轻量级架构，专为消费级GPU训练和CPU部署优化。
- 引入异步推理架构，降低延迟，实现快速且高效的资源利用推理。
- SmolVLA的预训练数据涵盖多样化的任务和行为，具备跨场景迁移能力。
- 模型架构包括预训练的视觉-语言模型和流匹配动作专家，二者相互连接。
- 通过跳层和视觉token减少等技术实现更快的推理速度。
- 交错使用交叉注意力层和自注意力层提高了模型的成功率和推理速度。
❓
延伸问答
SmolVLA模型的主要功能是什么？
SmolVLA模型结合视觉、语言和动作，提升机器人在新环境中的适应能力。
SmolVLA模型如何优化训练和推理效率？
SmolVLA通过轻量级架构、跳过部分层级、使用少量视觉token和异步推理架构来优化训练和推理效率。
SmolVLA模型的预训练数据来源是什么？
SmolVLA的预训练数据来自公开的社区贡献数据集，总共不到3万个样本。
SmolVLA模型在推理阶段的特点是什么？
在推理阶段，SmolVLA引入异步执行栈，将动作执行与感知和预测解耦，从而实现更快的控制响应。
SmolVLA模型的架构包含哪些主要组件？
SmolVLA模型主要由预训练的视觉-语言模型和流匹配动作专家组成。
SmolVLA模型的泛化能力如何？
尽管使用的数据量较少，SmolVLA模型展现出强大的泛化能力和性能，能够适应多样化的任务和行为。
➡️
