MATEval：用于推进开放式文本评估的多智能体讨论框架
内容提要
本文介绍了多代理评估框架 ChatEval 和 LLM-Eval，旨在评估大型语言模型（LLM）在开放性对话中的表现。研究表明，要求 LLM 解释评分可提高其与人类评分的一致性。通过多轮讨论和自动评估，发现 ChatGPT 在文本生成任务中表现优于其他模型，并强调选择合适的 LLM 和解码策略的重要性。
延伸解读
多代理讨论如何提升评估可靠性
ChatEval 通过多代理辩论框架模拟人类评估过程，不仅提供文本评分，还通过多轮讨论增强评估的可靠性。这种设计让不同模型在开放性问题上的响应质量得到更全面的审视，尤其适合传统自动指标难以覆盖的生成任务。
解释评分为何能改善与人类的一致性
研究发现，强制 LLM 仅输出数字评分并不理想，而要求其解释评分理由能持续改善 ChatGPT 与人类评分之间的相关性。这表明在自动评估中，让模型阐述判断依据比单纯给出分数更有效，有助于提升评估的可解释性和一致性。
多轮对话中模型性能下降的诱因
分析人类与 LLM 的对话发现，大多数模型在多轮设置中性能下降，主要受相关内容距离和错误传播敏感性影响。这意味着在多轮交互场景中，模型需要更好地处理长上下文和避免错误累积，否则评估结果可能失真。
选择合适 LLM 与解码策略的重要性
LLM-Eval 强调，选择适当的 LLM 和解码策略对获得准确评估结果至关重要。不同模型和策略可能导致评估性能差异，因此在实际应用中需根据任务特点进行选择，以平衡效率与准确性。
Q&A
ChatEval 是什么？
ChatEval 是一个多代理裁判团队，用于评估不同模型在开放性问题和自然语言生成任务中的响应质量。
如何提高大型语言模型与人类评分的一致性？
要求大型语言模型解释其评分可以提高与人类评分的一致性。
LLM-Eval 的主要特点是什么？
LLM-Eval 提供了一种统一的方法，针对开放领域对话进行多维自动评估，强调选择合适的 LLM 和解码策略的重要性。
ChatGPT 在文本生成任务中的表现如何？
研究表明，ChatGPT 在文本生成任务中表现优于其他模型，尤其是在多轮讨论和自动评估中。
多轮讨论对模型性能的影响是什么？
大多数模型在多轮设置中的性能下降，受相关内容距离和错误传播敏感性影响。
如何评估大型语言模型的对话能力？
通过分析人类与大型语言模型的对话，可以构建多轮查询来评估多轮会话能力。
