DriveMLM: 使用行为规划状态来对齐多模态大型语言模型和自动驾驶
原文中文,约300字,阅读约需1分钟。发表于: 。基于大型语言模型的自动驾驶框架 DriveMLM 并行闭环驾驶,在真实模拟器中进行,通过标准化决策状态与车辆控制命令之间的连接、使用多模态语言模型模拟行为规划模块以及设计有效的数据引擎进行数据集收集,该研究基于 CARLA Town05 Long 实验表明模型的驾驶得分达到 76.1,超过 Apollo 基准 4.7 分,验证了模型的有效性。
LMDrive是一种语言引导的闭环自动驾驶框架,能处理多模态传感器数据和自然语言指令,实现与人类和导航软件的交互。作者公开发布了包含64K个指令跟踪数据片段的数据集和测试系统,证明了LMDrive的有效性。