OMGEval：一个开放的多语言生成评估基准测试用于大型语言模型
内容提要
本文综述大语言模型评测研究，涵盖多语种NLP任务、开放对话、K-12教育、AIOps及科学能力等基准。发现ChatGPT等模型表现优异，但自动指标与人工评估差异大，部分基准质量低，非英语评估存在偏差，需本地数据校准。
延伸解读
自动指标与人工评估的显著差异
文章指出，在文本摘要、文本简化和语法错误纠正任务中，使用经典自动评估指标时模型得分较低，但人工评估员却认为黄金参考指标比最佳模型输出差得多。这表明许多流行基准的质量可能较低，自动指标与人类判断存在较大偏差。读者在参考基准分数时，需警惕自动指标的局限性，并关注人工评估结果。
非英语评估的偏差与校准需求
文章发现，LLM-based evaluators 在多语言评估方面可能存在偏差，需要使用本地语言的数据集进行校准。在 MEGAVERSE 数据集上，GPT-4 和 PaLM2 在资源稀缺语言中表现优于 Llama，但数据污染等问题会影响评估准确性。因此，对于非英语语言的模型评估，应优先使用本地化数据，并注意数据污染风险。
领域基准揭示模型能力不均衡
文章介绍了多个领域基准，如中国 K-12 教育的 E-EVAL、AIOps 的 OpsEval 和科学能力的 SciEval。E-EVAL 显示中文优先模型在文科表现良好，但数学等复杂科目普遍不佳；SciEval 表明 GPT-4 在动态问题上仍有很大改进空间。这些基准帮助识别模型在不同领域的优势和局限，为应用选型提供参考。
评估方法创新与人工审查的结合
文章提到 LLM-Eval 和 CoEval 等评估方法。LLM-Eval 通过单提示实现开放域对话的多维自动评估，高效且适应性强；CoEval 则结合 LLM 生成初步构思与人类审查，能高效评估长文本并减少异常值。这些方法表明，自动化评估可提升效率，但人类审查在确保可靠性方面仍不可或缺。
Q&A
OMGEval是什么？它主要解决什么问题？
OMGEval是一个开放的多语言生成评估基准测试，用于大型语言模型。它旨在解决多语言评估中存在的偏差问题，并强调需要使用本地语言的数据集进行校准。
在多语言NLP任务中，大型语言模型的性能如何？
研究发现，GPT-4和PaLM2在多个任务上超过了Llama模型，尤其是在资源稀缺的语言中，GPT-4在更多数据集上优于PaLM2。但为了准确评估非英语语言上的性能，需要解决数据污染等问题。
自动评估指标与人工评估在LLM评估中有何差异？
自动评估指标（如经典指标）给出的得分通常比人工评估低得多。人工评估员认为黄金参考指标比最佳模型输出差得多，表明许多流行基准的质量较低。GPT-4能在特定任务变异性较小的情况下对模型输出进行排名，与人类判断趋于一致，但在语法错误纠正任务中排名一致性较低。
E-EVAL基准是什么？它有哪些发现？
E-EVAL是首个专为中国K-12教育领域设计的综合评估基准，包含4,351道选择题，涵盖多个学科。研究发现，中文优先的模型表现良好，许多得分超过GPT-4.0，但几乎所有模型在数学等复杂科目上表现不佳。思维链技术（CoT）仅在具有挑战性的科学学科上有效，而一键提示对于文科学科更加有益。
LLM-based evaluators在多语言评估中存在什么偏差？如何解决？
LLM-based evaluators在多语言评估方面可能存在偏差，需要使用本地语言的数据集进行校准。
CoEval协同评估流程是如何工作的？
CoEval是一种协同评估流程，涉及特定任务标准的清单设计和文本的详细评估。大型语言模型生成初步构思，人类进行审查。通过利用大型语言模型，CoEval能够高效地评估长文本，节省时间并减少人类评估的异常值，但人类审查仍然起着重要作用，以最终确保可靠性。
