LLM 基准性能上的基准率效应：区分考试策略与基准性能
内容提要
本文探讨了利用语言数据和语言类型学特征预测跨语种语言模型性能的新方法，指出传统评估方法的局限性，并建议采用更强大的评估方案，以提高模型评估的可靠性和有效性。
延伸解读
排行榜的脆弱性：微小扰动如何改变模型排名
文章指出，现有LLM排行榜对细节非常敏感，例如改变选项顺序或答案选择方法等微小扰动，就可能导致模型排名变化高达8个位置。这意味着依赖排行榜选择模型可能存在风险，因为排名并非稳健。读者应意识到，排行榜结果可能因评估设置的不同而大幅波动，不能简单视为模型能力的绝对反映。
基准测试的假设缺陷：测试提示并非随机样本
传统基准测试假设测试提示是真实世界兴趣分布的随机样本，但文章强调这一假设通常不成立。模型在测试提示上的性能相关性是非随机的，且受语义相似性和常见失败点等因素影响。因此，仅凭平均性能评估模型可能产生误导，读者需关注评估是否覆盖了实际应用场景的多样性。
真实使用评估的必要性：去上下文化测试的局限
文章通过比较发现，基于去上下文化测试选择模型与基于真实使用评估选择模型，其效果仅相当于随机概率。这表明，如果评估脱离真实使用场景，可能无法有效评估偏见和现实伤害。读者应重视在具体应用背景下评估模型，而非仅依赖标准化测试结果。
预测方法的不稳健性：结果随方法选择而变
研究系统比较了多种预测方法（如生成评分、概率得分、李克特量表等），发现语言模型的预测结果在不同方法下并不稳健，无论是同一模型内部还是不同模型之间。这种变异性给研究人员带来了报告自由度，可能影响研究诚信。读者在解读模型评估结果时，应注意方法选择对结论的潜在影响。
Q&A
如何利用语言数据预测跨语种语言模型的性能？
可以通过分析语言数据和语言类型学特征来预测跨语种语言模型的性能，替代传统的基于翻译的评估方法。
为什么现有的LLM排行榜可能不可靠？
现有的LLM排行榜对细节非常敏感，微小的扰动可能导致排名变化高达8个位置，因此依赖简单基准评估存在风险。
什么是“Testset Slot Guessing”方法？
“Testset Slot Guessing”方法用于检测数据污染，并发现商业化的LLM在评估基准中有明显的性能改进。
基准测试的核心方法是什么？
基准测试的核心方法依赖于模型在测试提示中的平均性能，但这一假设通常不成立，感兴趣的分布因具体用例而异。
如何提高PLMs在生物医学知识上的性能？
可以通过引入新的上下文变量提示和理解 - 困惑 - 误解(UCM)度量来改善PLMs在生物医学知识三元组上的性能。
为什么真实使用评估对模型选择重要？
研究表明，基于真实使用评估选择最佳性能模型的情况与基于去上下文化测试的评估结果选择的情况频率相同，强调了真实使用评估的重要性。
