交通游戏：对（多模式）大型语言模型的交通知识进行基准评估
内容提要
本文综述大型语言模型评估研究：利用LLM预测旅行行为，准确性媲美监督学习且可解释，但存在逻辑矛盾或幻觉；提出KGQuiz知识评估框架，发现LLM简单问答强、复杂推理弱；评估GPT-4V地理空间能力；用“路由器”模型为新任务选最佳LLM；以协商游戏评估LLM能力；探讨LLM在智能交通、自动驾驶中的应用与挑战；提出多主体环境评估基准，发现GPT-4与Llama-2-70B能力差距达三倍。
延伸解读
评估需兼顾简单问答与复杂推理
文章指出，LLM在简单知识问答中表现出色，但在需要复杂推理或领域特定事实时仍面临挑战。这意味着仅凭问答准确率难以全面衡量模型能力，实际应用中需设计多层级任务，才能暴露模型在逻辑一致性和事实准确性上的短板。
旅行行为预测：可解释性与幻觉并存
利用LLM预测旅行行为无需参数学习，准确性可媲美监督学习，并能输出预测原因。但文章也提醒，模型存在逻辑矛盾或幻觉。因此，在交通规划等场景中，LLM的输出宜作为辅助参考，需结合领域知识校验，不可直接替代传统模型。
多模态与多主体评估揭示能力差距
文章评估了GPT-4V的地理空间能力，并发现多主体环境中GPT-4与Llama-2-70B能力差距达三倍。这表明不同模型在特定领域和交互场景下表现差异显著，选型时需针对任务类型进行基准测试，而非仅凭通用排名。
路由器模型与协商游戏提供新思路
文章提出用“路由器”模型为新任务选择最佳LLM，并利用协商游戏评估模型能力。这些方法有助于在多样任务中动态匹配模型，但路由器模型也存在局限性。读者可关注其在不同基准上的效用边界，作为模型组合策略的参考。
Q&A
大型语言模型在旅行行为预测中的表现如何？
利用大型语言模型进行旅行行为预测，无需数据参数学习，准确性可与传统的监督学习方法相媲美，并能输出预测的原因，但存在逻辑矛盾或幻觉的情况。
KGQuiz是什么？它评估LLM的哪些方面？
KGQuiz是一个基于知识的全面评估框架，包含五个任务，从简单到复杂地涵盖三个领域的知识，用于系统评估LLMs的知识能力及其在不同领域和任务中的知识泛化能力。实验发现LLMs在简单的知识问答任务中表现出色，但在需要更复杂推理或领域特定事实的设置和上下文中仍然存在挑战。
GPT-4V在地理空间领域的表现如何？
通过一系列实验研究了多模态大型语言模型在地理和地理空间领域的知识和能力，重点关注GPT-4V的视觉能力，并与开源模型进行比较。分析结果揭示了这些模型的优点，包括超过人类的性能，同时也揭示了不足之处，提供了它们在地理领域能力的全面视角。
如何为特定任务选择最佳的大型语言模型？
通过重新利用基准数据集来学习“路由器”模型，可以解决在一系列模型中为新任务选择最佳的大型语言模型的挑战。学习模型路由器在不同基准数据集上展示了效用和局限性，从而在所有任务中持续提高性能。
大型语言模型在协商游戏中的表现如何评估？
使用可评分的协商游戏作为新的评估框架，系统化的零样本链式思考提示能够展示大型语言模型在协商中的能力和绩效差距。
大型语言模型在智能交通系统中有哪些应用和挑战？
本文探讨大型语言模型在智能交通系统中的未来应用，介绍了交通数据的不同模态的处理和LLM的运行方式，并提供了智能手机崩溃报告自动生成和分析框架作为应用案例。虽然具有潜在优势，但数据隐私、数据质量和模型偏差等挑战需予以考虑。
多模态大型语言模型在自动驾驶中面临哪些关键挑战和机会？
基于大型语言模型和视觉基础模型的多模态人工智能系统在实时感知、决策和工具控制方面与人类相似，并在自动驾驶和地图系统中引起广泛关注。本文系统研究了多模态大型语言模型驱动系统的关键挑战、机会和未来工作，概述了背景、发展以及自动驾驶的历史，总结了工具、数据集和基准，并提出了需要解决的若干重要问题，呼吁学术界和工业界共同促进该领域的发展。
如何评估大型语言模型在多主体环境中的能力？
介绍了一个专门用于评估大型语言模型在多主体环境中能力的基准测试框架，通过游戏和博弈论场景来创建不同的测试环境，并利用概率图模型方法增强模型的导航能力。量化评估了七种不同大型语言模型的能力，发现最强模型GPT-4和最弱模型Llama-2-70B之间存在三倍的能力差距，同时证实了概率图模型增强了所有模型的能力，平均提高了50%。
