LLM 在谈判对话中的多维能力的系统评估
内容提要
该文综述大语言模型在谈判、推理与模拟人类行为方面的研究：可评分协商游戏显示零样本思维链的能力与差距；人机价格谈判揭示人类互动短板；多LLM协商框架提升情感分析；模型在类比道德推理较强、空间推理较弱；模拟政治辩论时倾向固有偏见；竞拍环境AucArena显示策略技能但个体差异大，GPT-4有时不及人类。
延伸解读
评估框架的多样性
文章综述了多种评估LLM谈判能力的方法，包括可评分的协商游戏、人机价格谈判、多LLM协商框架以及竞拍环境AucArena。这些框架从不同角度探测模型能力，如零样本思维链、情感分析、战略推理等，表明单一评估可能无法全面反映LLM在谈判中的表现，需结合具体场景选择合适框架。
能力优势与短板
研究发现LLM在类比和道德推理方面较强，但在空间推理上表现不佳；在谈判中，零样本思维链能展示一定能力，但人机价格谈判揭示人类互动短板。此外，模型在模拟政治辩论时倾向固有偏见，且个体差异大，即使GPT-4有时也不及人类。这些差异提示需针对不同任务优化模型。
人机互动的挑战
人机价格谈判研究表明，人类与LLM达成的价格范围广泛，反映出人类在有效与LLM互动方面存在文盲问题。同时，LLM在非合作、竞争情境下可能对人类构成威胁，且其推理能力存在不足和可操纵性。这强调需提升人类对LLM的理解和互动技能，并关注潜在风险。
模拟人类行为的局限
LLM在模拟人类互动时，如政治辩论，倾向于符合模型固有社会偏见，偏离人类已确立的社会动力学规律。尽管通过自我微调可操纵偏见，但克服偏见仍是挑战。在竞拍环境中，LLM展示策略技能但个体差异大，GPT-4有时不及人类，表明模拟复杂社交动态需进一步改进代理设计。
Q&A
LLM在谈判对话中的能力如何评估？有哪些评估框架？
文章提到使用可评分的协商游戏作为新的评估框架，系统化的零样本链式思考提示能够展示大型语言模型在协商中的能力和绩效差距。此外，AucArena作为一个评估LLMs的新型模拟环境，用于竞拍场景，探测战略推理和长期规划。
人类与LLM进行价格谈判时存在哪些问题？
研究发现人类在与LLMs进行价格谈判时所达成的价格涵盖广泛范围，指出了人类在有效与LLMs互动方面存在文盲问题。此外，人机交互在非合作性、竞争性情境下可能对人类构成严重威胁，并揭示了LLM推理能力的不足和可操纵性。
LLM在模拟人类行为（如政治辩论）时有哪些局限性？
LLM在模拟政治辩论时，尽管被指示从特定政治角度辩论，但倾向于符合模型固有的社会偏见，导致行为模式偏离人类已确立的社会动力学规律。研究使用自动自我微调方法操纵LLM内的偏见，并展示代理随后与改变后的偏见保持一致，强调了开发帮助代理克服这些偏见的必要性。
LLM在推理任务上的表现如何？哪些方面强哪些方面弱？
LLM在类比和道德推理方面表现出色，而在空间推理任务方面则表现不佳。此外，在显式信仰状态跟踪方面，它们表现不如专门的任务特定模型，但如果给出正确的插槽值，它们表现出将对话引导到成功结局的能力。
多LLM协商框架如何提升情感分析性能？
该框架包括一个推理注入生成器来提供决策及其理由，以及一个评估生成器可信度的解释推导鉴别器，通过迭代使生成器和鉴别器达成一致，从而解决了情感分析中的单一决策缺陷的问题。实验证明，该方法在各种情感分析基准上表现出更好的性能。
AucArena是什么？LLM在竞拍中的表现如何？
AucArena是一个评估LLMs的新型模拟环境，用于竞拍场景，探测战略推理和长期规划。在竞拍中，通过简单的提示，LLMs展示了参与竞拍所需的许多技能，自适应和观察过去竞拍策略的明确鼓励可以提高这些技能的准确性。但个体LLMs的能力存在相当大的变异性，即使是最先进的模型（GPT-4）有时也会被启发式基准线和人类代理超越。
