本文介绍了开放式大型语言模型排行榜Open LLM Leaderboard中的一个评估标准——Massive Multitask Language Understanding（MMLU），以及该标准在不同实现中的差异。作者通过对三种不同实现的MMLU评估方法进行比较，发现它们给出的评估结果存在较大差异，甚至会改变模型在排行榜上的排名。作者指出，评估结果的差异与实现细节密切相关，因此开放、标准化、可重现的基准测试非常重要。最后，作者表示Open LLM Leaderboard将继续使用社区维护的评估库，并更新了MMLU的评估方法，以使其与原始实现相似。