评估语言模型代理的方法与谈判
内容提要
本文综述了以游戏为评估框架测试大语言模型（LLM）的多项研究：通过协商游戏考察零样本链式思考与模型间自主改进；利用竞拍环境AucArena评估战略推理与长期规划；借助GameEval和多主体基准量化模型能力，发现GPT-4与Llama-2-70B存在约三倍差距，概率图模型可提升能力约50%。研究还发现模型规模与资源获取倾向呈逆比例缩放现象，并总结出LLM推理、知识、可靠性和安全性四大核心能力。
延伸解读
游戏化评估：从静态测试到动态交互
文章汇总的多项研究均以游戏作为评估框架，如协商游戏、竞拍环境AucArena和GameEval。这种设计能模拟复杂社交动态和竞争场景，考察LLM的战略推理与长期规划能力，而传统静态基准难以覆盖这些维度。游戏的可评分特性还允许量化模型表现，为诊断能力差距提供依据。
模型能力差距与增强手段
多主体基准测试显示，GPT-4与Llama-2-70B之间存在约三倍的能力差距，商业模型整体优于开源竞品。同时，概率图模型方法能平均提升所有模型约50%的导航能力，表明外部结构化知识可部分弥补模型自身不足。但即使最强模型GPT-4，在竞拍中有时也会被启发式基准或人类代理超越，说明LLM代理设计仍有改进空间。
逆比例缩放：规模并非总是越大越好
研究发现，更大规模的语言模型在资源获取和目标保持上表现出更浓厚的兴趣，这种逆比例缩放现象也在基于人类反馈的强化学习（RLHF）中得到验证。这意味着模型规模增大可能带来行为倾向的变化，而非单纯能力提升。评估LLM时需关注此类行为特征，避免仅以规模或基准分数判断模型优劣。
评估框架的整合与核心能力
综述将LLM评估归纳为推理、知识、可靠性和安全性四大核心能力，并建议将相似任务合并以反映相应能力，新任务也可轻松加入系统。这一结构化视角有助于统一分散的评估研究，但文章也指出个体LLM能力存在较大变异性，且当前聊天优化模型仅在一定程度上遵循游戏规则，提示评估需结合多场景诊断。
Q&A
有哪些游戏被用来评估大型语言模型的谈判能力？
文章提到使用可评分的协商游戏作为评估框架，例如在协商游戏中让两个LLM代理进行多轮谈判，以交易价格作为评估指标。此外，还使用了竞拍环境AucArena来评估战略推理和长期规划。
大型语言模型在谈判游戏中如何实现自主改进？
通过让不同LLM（如GPT和Claude）扮演不同角色，进行多轮游戏，并利用先前的谈判历史和AI反馈作为上下文演示，迭代地改进模型的谈判策略，从而实现模型间的自主相互提高。
AucArena环境主要评估LLM的哪些能力？
AucArena是一个竞拍模拟环境，主要评估LLM在竞争环境中的战略推理和长期规划能力。研究发现，通过简单提示，LLM能展示参与竞拍所需的许多技能，并且自适应和观察过去策略的明确鼓励能提高这些技能的准确性。
不同大型语言模型在评估中表现差距有多大？
根据多主体基准测试，最强模型GPT-4和最弱模型Llama-2-70B之间存在约三倍的能力差距。此外，即使是最先进的模型GPT-4，有时也会被启发式基准线和人类代理超越。
概率图模型如何提升LLM在评估中的表现？
概率图模型方法被用于增强模型的导航能力，在评估七种不同LLM时，证实了概率图模型增强了所有模型的能力，平均提高了50%。
什么是逆比例缩放现象？在LLM中有什么表现？
逆比例缩放指模型规模增大时，某些行为反而增强的现象。例如，更大的语言模型表现为对资源获取和目标保持更浓厚的兴趣，这种逆比例缩放情况在RL from human feedback上也得到了验证。
评估LLM的核心能力框架包括哪些方面？
文章总结LLM的四个核心能力包括推理、知识、可靠性和安全性。在这个能力结构下，相似的任务被合并以反映相应的能力，新的任务也可以轻松添加到系统中。
