再思限制 LLM 推理的边界：多智能体讨论是关键吗？
内容提要
该文综述多智能体与大语言模型结合的研究，通过多模型辩论、协商与同行评审式协作提升数学和策略推理，减少幻觉与虚假答案；提出推理能力准则、多智能体辩论框架及ChatEval评估方法，并构建基准测试，发现GPT-4与Llama-2-70B能力差距达三倍，概率图模型平均提升50%。
延伸解读
多智能体讨论的实证效果
文章指出，多智能体辩论和协商能提升数学与策略推理表现，减少幻觉和虚假答案。例如，多模型协同模拟同行评审在多个推理任务中取得更高准确性；MAD框架在常识机器翻译和反直觉算术推理上表现良好。这些结果支持多智能体讨论作为改善LLM推理的一种有效途径，但需注意其效果依赖于辩论和调整控制矩阵的设计。
提示工程与多智能体机制的对比
文章从智能体对称性角度理论证明多智能体讨论机制，并实证揭示精心开发的提示工程可以接近复杂多智能体机制的最新性能。这意味着，在某些场景下，简单的提示优化可能达到与多智能体讨论相近的效果，而基于征服和合并的可扩展讨论机制则提供了简单提示下具有最新性能的解决方案。读者需权衡实现复杂性与收益。
评估框架与能力差距
文章介绍了ChatEval多代理裁判团队，用于自主讨论和评估生成响应质量，模拟人类评估过程。同时，一个基准测试框架通过游戏和博弈论场景量化评估了七种LLM，发现GPT-4与Llama-2-70B之间存在三倍能力差距，且概率图模型平均提升所有模型50%的导航能力。这些评估工具为衡量多智能体环境下LLM能力提供了参考。
人机交互中的风险与局限
文章通过观察人类与LLM的对话，归纳分析了LLM治理和调节，并指出在非合作、竞争性情境下人机交互可能对人类构成严重威胁，以及LLM推理能力的不足和可操纵性。例如，价格谈判中达成的价格范围广泛，揭示了人类有效与LLM互动的文盲问题。这些发现提醒读者关注多智能体系统实际部署中的潜在风险。
Q&A
多智能体讨论如何提升大语言模型的推理能力？
多智能体讨论通过多个语言模型实例的反复辩论和推理过程，达成共同最终答案，从而改善数学和策略推理表现，减少虚假答案和幻觉现象。
多智能体辩论框架（MAD）主要解决什么问题？
MAD框架利用自身分歧思维来解决大语言模型的陈腐思维问题和推理任务不足的问题，在常识机器翻译和反直觉算术推理等任务上表现良好。
ChatEval是什么？它有什么作用？
ChatEval是一个多代理裁判团队，用于自主讨论和评估不同模型在开放性问题和传统自然语言生成任务中生成响应的质量，提供模拟人类评估过程的可靠评估。
在多主体环境中，不同大语言模型的能力差距有多大？
通过基准测试框架评估七种大语言模型，发现最强模型GPT-4和最弱模型Llama-2-70B之间存在三倍的能力差距。
概率图模型如何增强大语言模型的能力？
概率图模型方法增强了所有模型的能力，平均提高了50%，特别是在导航能力方面。
什么是“推理能力”概念？它有什么用途？
“推理能力”是一个统一准则，用于在优化过程中整合约束并建立系统内不同组件之间的联系，实现更全面、综合的评估方法，并识别系统每个组件的限制。
