SmolVLA——Hugging Face等机构推出的轻量且高效的VLA：将动作执行、观测处理、动作预测解耦
💡
原文中文，约10300字，阅读约需25分钟。
📝
内容提要
自6月以来，团队在机器人领域快速推进，开发了SmolVLA模型，以提升机器人在新环境中的适应能力。该模型结合视觉、语言和动作（VLA），优化了训练和推理效率，并利用社区数据进行预训练，展现出强大的泛化能力和性能。
🎯
关键要点
- 自6月以来，团队在机器人领域快速推进，开发了SmolVLA模型。
- SmolVLA模型结合视觉、语言和动作（VLA），提升机器人在新环境中的适应能力。
- 该模型优化了训练和推理效率，并利用社区数据进行预训练。
- SmolVLA展现出强大的泛化能力和性能，尽管使用的数据量较少。
- 模型采用轻量级架构，专为消费级GPU训练和CPU部署优化。
- 引入异步推理架构，降低延迟，实现快速且高效的资源利用推理。
- SmolVLA的预训练数据涵盖多样化的任务和行为，具备跨场景迁移能力。
- 模型架构包括预训练的视觉-语言模型和流匹配动作专家，二者相互连接。
- 通过跳层和视觉token减少等技术实现更快的推理速度。
- 交错使用交叉注意力层和自注意力层提高了模型的成功率和推理速度。
➡️
