💡
原文中文，约3000字，阅读约需7分钟。
📝
内容提要
ORION是一个新型的端到端自动驾驶框架，通过视觉语言指令生成轨迹。它结合QT-Former聚合历史信息和VLM进行场景理解，实现推理与动作空间的对齐。在Bench2Drive数据集上，ORION的驾驶得分为77.74，成功率为54.62%，显著优于现有方法。
🎯
关键要点
- ORION是一个新型的端到端自动驾驶框架，通过视觉语言指令生成轨迹。
- ORION结合QT-Former聚合历史信息和VLM进行场景理解，实现推理与动作空间的对齐。
- 在Bench2Drive数据集上，ORION的驾驶得分为77.74，成功率为54.62%，显著优于现有方法。
- 现有端到端自动驾驶技术在复杂环境中因果推理能力有限，难以做出准确决策。
- VLM为端到端自动驾驶提供了新的希望，但存在语义推理空间与数值轨迹行动空间的鸿沟。
- ORION通过QT-Former聚合长期历史上下文信息，提升了模型对历史场景的理解能力。
- ORION利用VLM的推理能力进行多维度场景分析，并生成规划token指导轨迹预测。
- 生成模型将VLM的推理空间与预测轨迹的动作空间对齐，确保合理的驾驶决策。
- ORION在超车、紧急刹车和交通标志识别等场景中表现优异，展现强大的驾驶能力。
- ORION框架为端到端自动驾驶提供了一种全新的解决方案，联合优化视觉理解与路径规划任务。
➡️
