本文介绍了多代理评估框架 ChatEval 和 LLM-Eval，旨在评估大型语言模型（LLM）在开放性对话中的表现。研究表明，要求 LLM 解释评分可提高其与人类评分的一致性。通过多轮讨论和自动评估，发现 ChatGPT 在文本生成任务中表现优于其他模型，并强调选择合适的 LLM 和解码策略的重要性。

该文综述多智能体辩论（MAD）如何提升大语言模型的推理与真实性：多个模型实例反复辩论以达成共识，从而改善数学与策略推理、减少虚假答案与幻觉；在医学问答中权衡成本、时间与准确性，并提出基于一致性的新辩论策略；ChatEval 以多代理裁判模拟人类评估；MAD 还能缓解思维定式，提升常识翻译与反直觉算术推理。文中亦涉及自我对弈辩论、红队攻防与提示工程研究，表明精心设计的提示可接近复杂多智能体系统的性能。