基于多模态大型语言模型的研究进展引起了对自动驾驶代理的兴趣。研究提出了一个全面框架，使用3D MLLM架构和OmniDrive-nuScenes数据集，以改进规划行为。研究结果显示了该框架在复杂3D场景中的有效性和VQA任务的重要性。

基于多模态大型语言模型（MLLMs）的进展引起了对基于 LLM 的自动驾驶代理的兴趣。研究提出了一个全面框架，用于代理模型和 3D 驾驶任务之间的强力对齐。提出了 OmniDrive-nuScenes，一个新的视觉问答数据集，挑战模型在真实的 3D 情境中的全面视觉问答任务。研究结果显示了所提出的架构的有效性以及 VQA 任务对于复杂 3D 场景中的推理和规划的重要性。

基于多模态大型语言模型（MLLMs）的进展引起了对基于 LLM 的自动驾驶代理的兴趣。提出了一个全面框架，使用稀疏查询将视觉表示提升和压缩为3D，并将其输入到LLM中。进一步提出了OmniDrive-nuScenes，一个新的视觉问答数据集，挑战模型在真实的3D情境中的全面视觉问答任务。研究结果显示了所提出的架构的有效性以及VQA任务对于复杂3D场景中的推理和规划的重要性。