一分钟读论文:《榜单第一可能是背出来的》

一分钟读论文:《榜单第一可能是背出来的》

💡 原文中文,约1800字,阅读约需5分钟。
📝

内容提要

Xinxu AI与GAIR的预印本研究用few-shot续写探针测试4款开源基座模型,发现ERNIE-5.5-Flash-Base能背出96.3%的HumanEval题目,远超其他模型。将疑似泄漏题判零后,其20项基准均分从85.17降至68.55,排名反转;泄漏少的模型仅降1分多。但该研究为未经评审的预印本,命中仅证明模型“背得出”,并非训练数据泄漏的实证,判定依赖自定义规则,且仓库链接404无法复现,结论仍需验证。

🔎

延伸解读

“背题率”不等于准确率,也不等于泄漏实证

文中96.3%等数字是被判“泄漏”的题目占比,并非模型答题准确率。探针用few-shot续写,命中只能说明模型“背得出”题目,论文措辞也是推测语气,不能证明训练语料确实包含该测试集。判定还依赖作者自定义的L1、L2、L3匹配规则,档位不同结论强度不同,因此这些比例应视为待复现信号。

Anti-Hack重算为何会让排名反转

Anti-Hack把疑似泄漏题直接记零分,分母仍保持原测试集规模,而非删题重算。ERNIE-5.5-Flash-Base的20项基准均分因此从85.17降至68.55,HumanEval从100.00掉到3.66。这个3.66是惩罚式重算后的分数,不代表模型真实能力只有3.66;对恰好背过题但仍会做的模型,该度量偏保守,存在过度惩罚。

排名反转仅限四款被测模型

论文只测试了四款开源基座模型,ERNIE-5.5-Flash-Base原始均值最高、Anti-Hack均值垫底,构成排名反转;泄漏少的DeepSeek-V4-Flash-Base与Hy3-preview-Base均值仅降1.5分和1.3分。这只能说明强基座拿高分不必然依赖背题,不能外推为全行业榜单失真。阅读时需区分单基准掉分与20基准均值口径。

预印本结论仍需独立复现

该研究是未评审预印本,作者机构非高校,GAIR长期以榜单评测为业务,被评四款模型均为中国厂商开源基座,被评方无法在同篇答辩。论文给出的仓库地址实测返回404,独立复现暂时无从谈起。摘要中23%转引自他人研究,并非本文实验产出。在这些限制下,96.3%更适合作为待验证信号,而非定论。

❓

Q&A

ERNIE-5.5-Flash-Base 在 HumanEval 上被探针判为泄漏的比例是多少?

根据论文全文版口径,ERNIE-5.5-Flash-Base 在 HumanEval 上被判泄漏的题目占比为 96.3%。

把疑似泄漏的题目判零分后,ERNIE-5.5-Flash-Base 的 20 基准均分变化如何?

其 20 基准均分从 85.17 降至 68.55,下降 16.6 分,排名从最高变为垫底。

论文中 Anti-Hack 分的计算规则是什么?

被判泄漏的题目直接记零分,分母保持原测试集规模不变,而不是删题重算。

为什么说 few-shot 续写命中不能证明训练数据泄漏?

因为命中只能证明模型“背得出”测试题,论文自身用 suggesting(推测语气)表述,并非训练数据实证;且判定依赖作者自定义的匹配严格度(L1、L2、L3 三档规则),档位不同结论强度不同。

四款被测模型中,哪些模型泄漏少且判零后掉分少?

DeepSeek-V4-Flash-Base 和 Hy3-preview-Base 泄漏少,20 基准均值分别只掉 1.5 分和 1.3 分。

这项研究的结论目前能作为定论吗?为什么?

不能。这是未经评审的预印本(提交于 2026-11-16),作者为非高校机构且有利益相关;仓库链接 github.com/GAIR-NLP/Benchleaking 实测返回 404,无法独立复现;96.3% 更适合作为待复现信号。

🏷️

标签

➡️

继续阅读