内容提要
理想汽车发布第三代自动驾驶技术架构,采用端到端+视觉语言模型+世界模型的方法,提高AI的信息处理效率和对复杂路况的应对能力。该架构受到诺贝尔奖得主丹尼尔·卡尼曼的快慢系统理论启发,模拟人类的思考和决策过程。理想汽车已全面切入端到端+大模型方案,让车辆能够理解复杂路况和交通规则。他们利用用户数据进行训练和验证,提高系统的能力上限和迭代速度。下半年实现端到端+视觉语言模型的自动驾驶量产交付是他们的下一个目标。
延伸解读
快慢系统协同:自动驾驶的类人决策
理想第三代架构受卡尼曼快慢理论启发,将自动驾驶分为快系统与慢系统。快系统以端到端大模型处理95%的常规场景,慢系统用VLM模型应对约5%的复杂场景。这种分工模拟人类直觉与逻辑推理,旨在提升对罕见路况的应对能力,同时降低对技术团队规模的依赖。
DriveVLM:技术突破与端侧部署
DriveVLM论文首次提出自动驾驶快慢系统,结合传统pipeline与大模型pipeline,并完成基于英伟达Orin平台的端侧部署。其CoT流程包含场景描述、分析和分层规划,对应感知-预测-规划,提升了对象感知、意图预测和任务规划能力,为处理长尾场景提供了新思路。
数据驱动迭代:真题与模拟题结合
理想利用超过80万台的保有量,筛选3%达到专车司机标准的用户数据作为“真题”,再通过世界模型生成“模拟题”,实现场景延伸泛化。这种训练验证闭环提高了系统能力上限和迭代速度,但同时也对车端算力提出挑战,需优化决策时延以确保安全。
量产目标与竞争态势
理想计划最快今年下半年、最晚明年上半年实现端到端+VLM自动驾驶量产交付。随着特斯拉FSD即将进入国内,智能驾驶竞争将进入新阶段。理想能否按时落地L3,并平衡性能与安全,将影响其市场地位。
Q&A
理想汽车的第三代自动驾驶技术架构有哪些主要特点?
理想汽车的第三代自动驾驶技术架构采用端到端、视觉语言模型和世界模型的方法,提高了AI的信息处理效率和对复杂路况的应对能力。
理想汽车如何利用用户数据提升自动驾驶系统的能力?
理想汽车通过筛选达到专车司机标准的用户数据,作为训练模型的真实数据,结合世界模型生成模拟题,从而提升系统的能力和迭代速度。
理想汽车的自动驾驶系统是如何模拟人类思考和决策的?
该系统受到丹尼尔·卡尼曼的快慢系统理论启发,通过快系统处理简单任务,慢系统用于复杂分析,二者协同提升自动驾驶能力。
DriveVLM论文中提到的关键模块有哪些?
DriveVLM包含场景描述、场景分析和分层规划三个关键模块,分别对应于传统自动驾驶系统的感知、预测和规划流程。
理想汽车面临哪些算力挑战?
理想汽车面临的算力挑战包括保持AI模型参数量在最优状态,并优化AI决策时延以保证安全。
理想汽车的自动驾驶量产交付计划是什么?
理想汽车的目标是在今年下半年实现端到端和视觉语言模型的自动驾驶量产交付。