ANGO：面向中文领域的下一级生成导向语言模型评估基准
内容提要
该文综述多个中文大语言模型评估基准：GAOKAO-Benchmark以高考题零样本测试模型，ChatGPT客观题表现优异；另有QG-Bench、SuperCLUE、M3KE、CUGE、AGIBench、CG-Eval、CGCE、CGoDial等，覆盖问答生成、多学科多任务、开放偏好、生成质量与目标导向对话，揭示模型不足并指明改进方向。
延伸解读
评估基准的多样性反映中文模型评测的细分趋势
文章列举的基准覆盖高考题目、问答生成、多学科多任务、开放偏好、生成质量与目标导向对话等多个维度，说明中文大模型评估已从单一准确率转向针对不同能力与场景的细分测试。这种多样性有助于更全面地定位模型短板，但也意味着单一基准的结论不宜直接推广到其他任务。
零样本与少样本设置下的表现差异值得关注
GAOKAO-Benchmark采用零样本提示测试高考题，M3KE则同时考察零样本和少样本多任务准确性。文章提到GPT-3.5在M3KE上约48%的准确率优于其他中文模型，但这一数字本身也提示：即便领先模型在跨学科多任务上仍有较大提升空间，读者应留意不同基准的提示设置对结果的影响。
生成质量与偏好评估仍依赖自动评分方法
SuperCLUE指出现有评估精确性不足以反映用户偏好，并尝试用GPT-4自动评估中文开放问题偏好；CG-Eval以多指标加权得出Gscore综合指数；CGCE则从精确性、条理性、表达清晰度和完成度等维度评估生成内容。这些方法试图量化主观质量，但自动评分本身的可靠性仍是读者需要留意的局限。
目标导向对话评估试图弥合学术与真实场景差距
CGoDial包含基于插槽、基于流和基于检索的三类数据集，并在实验设置中考虑训练集与测试集的不同组合，还通过真实会话数据或众包添加口语特征来填补学术基准与口语场景之间的差距。这提示对话系统的评估不能只看静态问答，还需关注多领域知识来源和真实交互特征带来的挑战。
Q&A
GAOKAO-Benchmark 是什么？它如何评估大语言模型？
GAOKAO-Benchmark 是一个利用中国高考题目作为测试样本的基准，采用零样本提示（zero-shot prompts）方法评估大语言模型的准确率和评分率。研究发现 ChatGPT 在客观题上表现优异，同时也揭示了模型的不足和改进方向。
SuperCLUE 基准主要解决了什么问题？
SuperCLUE 是一个综合性的中文基准，旨在解决现有评估模型性能的精确性不足以反映用户偏好的问题。研究表明 GPT-4 可以可靠地自动评估用户对中文开放性问题的偏好。
M3KE 基准测试了模型的哪些能力？GPT-3.5 在 M3KE 上的表现如何？
M3KE 用于测试中文大型语言模型在各种学科和教育级别下的零样本和少样本多任务准确性。在该基准上，GPT-3.5 达到了约 48% 的准确率，比其他中文语言模型表现更优。
CG-Eval 和 CGCE 分别评估中文大语言模型的什么能力？
CG-Eval 是首个综合评估大型中文语言模型在广泛学科领域中生成能力的研究，通过多个指标的加权和得出 Gscore 综合指数来评估生成质量。CGCE 是中文生成式聊天评估基准，包含 200 个一般领域问题和 150 个专业财务领域问题，评估精确性、条理性、表达清晰度和完成度等因素。
CGoDial 基准有什么特点？它包含哪些类型的数据集？
CGoDial 是一个多领域目标导向对话评估的新挑战性和综合性中文基准，包含三个使用不同知识来源的数据集：基于插槽的对话、基于流的对话和基于检索的对话。实验设置考虑了训练集和测试集的不同组合，包括使用真实会话数据或通过众包添加口语特征来填补学术基准和口语场景之间的差距。
CUGE 基准的评估目标是什么？评估结果如何？
CUGE 是针对自然语言处理中普适性语言智能评估的全面、系统的评估标准。通过预训练语言模型的评估结果表明，模型还有改进的空间。
