评估语言模型代理的方法与谈判

大型语言模型在竞争环境中展示了高级推理技能，需要评估环境来探测战略推理、竞争动态场景中的长期规划。AucArena是一个评估LLMs的新型模拟环境，在竞拍中证明了LLMs展示了参与竞拍所需的许多技能。个体LLMs的能力存在变异性，即使是最先进的模型（GPT-4）有时也会被启发式基准线和人类代理超越，这突显了LLM代理设计中进一步提高和模拟环境的重要作用。