MT-Eval: 大型语言模型的多轮能力评估基准
内容提要
该文综述大语言模型对话评估研究，发现GPT-4在多轮对话生成上质量出色，ChatGPT在摘要、简化、语法纠错任务中多优于其他模型，但经典自动指标得分偏低，人工评估显示黄金参考质量较差；GPT-4模型排名与人类判断较一致，语法纠错一致性较低。研究还涉及阿拉伯语多轮指令、MINT工具反馈、LLM-Eval多维评估、SciEval科学能力、L-Eval长上下文及xDial-Eval多语言基准。
延伸解读
自动指标与人工评估的差距
文章指出，在文本摘要、简化和语法纠错任务中，经典自动评估指标得分普遍偏低，而人工评估发现黄金参考质量甚至不如最佳模型输出。这提示读者：依赖传统自动指标可能低估模型能力，且部分基准的参考标准本身质量存疑，评估结论需结合人工判断。
GPT-4作为评估者的表现
研究发现GPT-4在多数任务上对模型输出的排名与人类判断较为一致，但在语法错误纠正任务中一致性较低。这说明用GPT-4做自动评估并非在所有任务上都可靠，尤其对于语法纠错这类细粒度任务，仍需谨慎对待其评估结果。
多语言与多轮评估的挑战
文章涉及阿拉伯语多轮指令、xDial-Eval多语言基准等，表明当前对话评估研究正从英语向多语言扩展。但不同语言和任务类别下模型表现存在差异，且多语言评估资源仍有限，读者需注意跨语言评估的泛化性问题。
长上下文与科学能力评估
L-Eval和SciEval分别针对长上下文和科学能力评估。L-Eval显示开源模型在长文档任务上表现不俗，而SciEval表明GPT-4虽领先但动态问题仍有改进空间。这些基准拓展了评估维度，但各自侧重点不同，读者应结合具体场景选择参考。
Q&A
MT-Eval 是什么？它主要评估大语言模型的哪些能力？
MT-Eval 是一个针对大型语言模型多轮对话能力的评估基准。它利用 GPT-4 对人类风格的多轮对话进行评估，发现大语言模型在生成多轮对话方面具有出色的质量，明显优于其他模型。
在文本摘要、简化和语法纠错任务上，ChatGPT 的表现如何？
通过自动和人工评估，发现 ChatGPT 在大多数指标上始终优于其他流行模型，但使用经典的自动评估指标时得分要低得多。人工评估员评价黄金参考指标比最佳模型输出差得多，表明许多流行基准的质量较低。
GPT-4 在模型输出排名上与人类判断的一致性如何？
GPT-4 能够在特定任务的变异性较小的情况下，对模型输出进行排名，与人类判断趋于一致，但在语法错误纠正任务中的排名一致性较低。
针对阿拉伯语等多语言场景，大语言模型的多轮指令遵循能力有何发现？
在小众语言如阿拉伯语中，利用自定义的阿拉伯文翻译的 MT-Bench 基准套件和 GPT-4 作为评估工具，对英文和阿拉伯文进行了综合评估和比较，结果表明在不同任务类别（逻辑和文学）以英文或阿拉伯文指令时，模型的回答会有所差异。使用多语言和多轮次数据集进行微调的基础模型与从头开始使用多语言数据训练的模型具有竞争力。
MINT 基准测试如何评估大语言模型？主要发现是什么？
MINT 基准测试通过使用工具和自然语言反馈，评估大型语言模型在解决具有多回合交互的任务时的能力。从 20 个开源和闭源的语言模型分析中发现，在工具交互和自然语言反馈的情况下，LLMs 的性能有所提升。
LLM-Eval 是什么？它有什么特点？
LLM-Eval 是一种针对使用大型语言模型（LLM）的开放领域对话进行多维自动评估的统一方法。通过设计基于单个提示的评估方法来覆盖会话质量的多个方面，LLM-Eval 可以在单个模型调用中进行。全面评估表明它相对于最先进的评估方法具有高效性和适应性，同时强调了选择适当的 LLM 和解码策略以获得准确评估结果的重要性。
SciEval 基准评估体系解决了什么问题？它的评估维度是什么？
SciEval 基准评估体系旨在解决现有预先收集客观问题的数据泄露问题和缺乏主观问答能力评估的问题。它基于 Bloom 的认知分类学，覆盖了四个维度，系统评估科学研究能力。实验证明，尽管 GPT-4 在与其他 LLMs 相比取得了最先进的表现，但仍有很大的改进空间，特别是在动态问题方面。
L-Eval 是什么？它包含哪些内容？评估结果如何？
L-Eval 是一个评估长上下文语言模型的标准化评估方法，包含 411 个长文档和超过 2,000 个查询-回复对，经过作者手工注释和检查。结果表明，开源模型在开放式任务和封闭式任务上都表现出令人印象深刻的性能，其中 LLaMA2 在 4k 上下文长度的开放式任务中获得最佳结果，而 ChatGLM2 在 8k 输入标记的封闭式任务中取得最佳结果。
xDial-Eval 是什么？它的多语言对话评估效果如何？
xDial-Eval 是一个基于英文对话评估数据集的多语言对话评估基准测试，并建立了自监督和多语言基线模型。与 OpenAI 的 ChatGPT 相比，最好的基线模型在所有数据集和语言上的平均 Pearson 相关系数分别提升了 6.5% 和 4.6%，同时具有更少的参数。
