量子位
·
罗福莉首个小米成果！开源具身大模型
💡
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
罗福莉在小米入职不到10天便发布了首篇论文，介绍了全球首个跨具身智能与自动驾驶的开源模型MiMo-Embodied。该模型在29个基准测试中表现优异，成功融合了这两个领域，解决了知识迁移难题，提升了多模态推理能力。
🎯
关键要点
- 罗福莉在小米入职不到10天便发布了首篇论文。
- 论文介绍了全球首个跨具身智能与自动驾驶的开源模型MiMo-Embodied。
- MiMo-Embodied在29个基准测试中表现优异，成功融合了自动驾驶与具身智能。
- 该模型解决了知识迁移难题，提升了多模态推理能力。
- MiMo-Embodied基于MiMo-VL架构，采用渐进式四阶段训练策略。
- 模型在任务规划、空间理解、环境感知及驾驶规划等方面实现了最先进性能。
- 研究提出了统一的具身VLM，解决了领域差距与迁移困难。
- MiMo-Embodied的架构包括视觉输入编码、投影器和文本理解的LLM。
- 数据集涵盖通用多模态理解、具身AI和自动驾驶三个维度。
- 四阶段训练策略包括具身智能监督微调、自动驾驶监督微调、思维链推理微调和强化学习微调。
- 实验测试分为定性和定量评估，验证了模型的实际效能。
- 在具身导航和操作任务中，MiMo-Embodied展现出强大的能力。
- 在自动驾驶能力上，模型能够处理多样化的驾驶情况并完成复杂任务。
- 论文的项目负责人陈龙曾在Wayve和Lyft等公司任职，具有丰富的自动驾驶研发经验。
❓
延伸问答
MiMo-Embodied模型的主要创新点是什么？
MiMo-Embodied模型成功融合了具身智能与自动驾驶，解决了知识迁移难题，并在29个基准测试中表现优异。
MiMo-Embodied的训练策略是怎样的？
该模型采用渐进式四阶段训练策略，包括具身智能监督微调、自动驾驶监督微调、思维链推理微调和强化学习微调。
MiMo-Embodied在自动驾驶方面的表现如何？
在自动驾驶能力上，MiMo-Embodied能够处理多样化的驾驶情况，并在复杂任务中展现出强大的能力。
MiMo-Embodied的架构包含哪些主要组件？
该模型的架构包括视觉输入编码的Vision Transformer、投影器和负责文本理解的LLM。
MiMo-Embodied如何解决领域差距与迁移困难？
通过构建统一的具身VLM，MiMo-Embodied整合了自动驾驶与具身智能的任务，打破了室内操作与户外驾驶之间的领域鸿沟。
罗福莉在小米的研究背景是什么？
罗福莉在加入小米前曾在阿里巴巴和DeepSeek等公司担任研究员，参与多个重要AI项目的研发。
➡️
