迈向更好的人机协作：评估 LLM 驱动应用中的任务效用
内容提要
该文综述2023至2024年研究，探讨大语言模型作为智能体在多轮交互、协作与评估中的推理决策能力。研究提出TrainerAgent、ChatEval、ScaleEval等框架，利用多代理协作与辩论提升任务优化和评估可靠性，并构建基准测试衡量多主体环境能力，发现GPT-4与Llama-2-70B存在三倍差距，概率图模型可平均提升50%能力。
延伸解读
多代理协作如何提升任务效用
文章指出，通过多代理协作与辩论，可以提升任务优化和评估的可靠性。例如，TrainerAgent 由任务、数据、模型和服务器代理组成，从数据和模型角度优化用户定义的任务，从而获得满足要求的模型并部署为在线服务。ChatEval 则构建多代理裁判团队，通过自主讨论评估生成质量，模拟人类评估过程。这些框架表明，多代理协作能有效增强 LLM 在复杂任务中的表现。
评估框架的演进与元评估
文章综述了多种评估框架，如 ScaleEval 元评估框架，利用多个大语言模型代理进行可伸缩元评估，帮助人工标注员判断最有能力的评估者，减轻工作量。此外，还有专门评估多主体环境能力的基准测试框架，通过游戏和博弈论场景量化评估七种 LLM，发现 GPT-4 与 Llama-2-70B 存在三倍能力差距。这些框架推动了 LLM 评估的标准化和自动化。
性能差距与概率图模型的增强作用
研究发现，商业 LLM 与开源竞争对手之间存在显著性能差距，最强模型 GPT-4 和最弱模型 Llama-2-70B 的能力差距达三倍。同时，概率图模型方法能增强所有模型的能力，平均提高 50%。这表明，尽管 LLM 发展迅速，但模型间的不平衡依然存在，而结合概率图模型等外部方法可有效提升模型在导航等任务中的表现。
局限与未来方向
文章也指出了当前 LLM 代理的局限。例如，在模拟招聘会环境中，协作生成代理虽显示出有希望的性能，但存在限制，阻碍其在更复杂协调任务中的效果。此外，评估框架仍需进一步研究，以释放模型潜力。这些发现提示，LLM 在任务导向的社会模拟中的协调能力尚未充分探索，未来需改进代理设计以应对更复杂的协作场景。
Q&A
LLM作为智能体在多轮交互中的推理和决策能力如何评估？
研究通过多轮开放式生成的方式评估LLM作为代理的推理和决策能力，并揭示了商业LLM与开源竞争对手之间的性能差距。
TrainerAgent系统由哪些代理组成，有什么作用？
TrainerAgent系统由任务、数据、模型和服务器代理组成，通过协作从数据和模型角度优化用户定义的任务、输入数据和需求，从而获得满足要求的模型并部署为在线服务，相比传统模型开发提高了效率和质量。
ChatEval框架如何提升LLM评估的可靠性？
ChatEval通过多代理辩论框架构建多代理裁判团队，自主讨论和评估不同模型在开放性问题和传统自然语言生成任务中生成响应的质量，不仅提供文本评分，还模拟人类评估过程以进行可靠评估。
ScaleEval元评估框架有什么特点？
ScaleEval是一个通过多轮讨论辅助的元评估框架，利用多个交流能力的大语言模型代理进行可伸缩元评估，帮助人工标注员判断最有能力的大语言模型作为评估者，从而显著减轻他们的工作量。
在多主体环境中，不同LLM的能力差距有多大？
研究通过游戏和博弈论场景创建测试环境，量化评估了七种不同大型语言模型的能力，发现最强模型GPT-4和最弱模型Llama-2-70B之间存在三倍的能力差距。
概率图模型如何提升LLM在多主体环境中的能力？
概率图模型方法增强了模型的导航能力，并证实能提升所有模型的能力，平均提高了50%。
