自动驾驶的视觉基础模型铸造：挑战、方法和机遇
内容提要
该文综述基础模型与可视化的交叉领域，探讨可视化在理解、优化和评估复杂模型中的作用。研究涵盖：大语言模型结合基础模型重构自动驾驶系统以应对长尾问题；视觉语言模型在自动驾驶场景理解上表现优越，但方向辨别、信号识别和空间推理仍有挑战；地理空间任务中通用大模型在部分文本任务零样本下可胜专用模型，多模态任务仍不及专用模型，建议发展多模态地理基础模型；视觉基础模型可通过任务导向知识迁移提升小模型性能；视觉基础模型在生成与判别任务的可扩展性及融合方向；基础模型在机器人领域的应用形式与挑战；以及视觉基础模型对压缩扰动鲁棒性不足等问题。
延伸解读
视觉语言模型：场景理解强，空间推理弱
文章指出，视觉语言模型在自动驾驶场景理解和因果推理上表现优越，但在方向辨别、交通信号识别、视觉对接和空间推理任务上仍有挑战。这意味着当前模型擅长“看懂”场景语义，却未必能精确判断方位、信号和空间关系，而这些恰是安全驾驶的关键。读者应关注模型在细分任务上的能力边界，而非仅看整体表现。
地理空间任务：通用大模型并非全面胜出
在多个地理空间子领域测试中，任务不可知的大语言模型在部分文本任务零样本或少样本下可胜过专用全监督模型，但在涉及多种数据模态的任务上仍不及专用模型。文章据此建议发展能通过地理对齐推理多模态数据的基础模型。这提示通用模型与专用模型各有适用场景，多模态融合是待突破方向。
知识迁移：小模型也能借力视觉基础模型
文章提出一种面向任务的知识迁移方法，利用大型视觉基础模型预训练知识，在有限标记数据下训练小型任务特定模型。实验显示，该方法在四个目标任务上优于任务无关的VFM蒸馏、CLIP预训练和ImageNet预训练，分别提升1-10.5%、2-22%和2-14%。研究还强调迁移数据集对最终性能影响显著，并提出基于图像检索筛选迁移集。
鲁棒性隐忧：VFM对压缩扰动不够稳健
性能评估研究发现，视觉基础模型对基于压缩的破坏不具备鲁棒性，而非VFM模型在监督下表现更加强健，零样本评估中仍具竞争性鲁棒性，VFM则在特定类别对象上表现出更高韧性。这说明基础模型并非在所有扰动下都可靠，实际部署需针对压缩等真实世界分布偏移做专门评估，不能默认其鲁棒性优于传统模型。
Q&A
大语言模型和基础模型如何帮助自动驾驶系统解决长尾问题？
通过将大语言模型与基础模型结合，利用人类知识、常识和推理，重新构建现有的自动驾驶系统，以改变当前的长尾人工智能困境。
视觉语言模型在自动驾驶场景理解中表现如何？有哪些不足？
视觉语言模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。
通用大模型在地理空间任务中能取代专用模型吗？
在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此建议发展能够通过地理对齐来推理各种类型地理数据的多模态基础模型。
如何利用大型视觉基础模型提升小模型在有限标注数据下的性能？
提出了一种简单高效的面向任务的知识迁移方法，用于对小型任务特定模型进行有效训练。实验结果表明，在有限标记数据的情况下，该方法在四个目标任务上的性能优于面向任务无关的VFM蒸馏、Web规模CLIP预训练和监督式ImageNet预训练，分别提升了1-10.5%、2-22%和2-14%。研究还指出了用于知识迁移的数据集对最终目标任务性能的显著影响，并提出了基于图像检索的方法来筛选有效的迁移集。
视觉基础模型在生成和判别任务上的发展趋势是什么？
视觉基础模型在生成任务和判别任务方面具有可扩展性和熟练度，融合生成模型和判别模型是未来创新的重要方向，而将生成模型应用于判别上的初步尝试表明了这种融合的早期阶段。
视觉基础模型对压缩扰动是否鲁棒？
研究发现Visual Foundation Models（VFMs）对基于压缩的破坏不具备鲁棒性，而非VFM模型在监督下表现更加强健，但在零样本评估中仍然竞争性鲁棒，VFMs则在特定类别的对象上表现出更高的韧性。
