OpenAI
·
在编码评估中区分信号与噪声
原文英文，约1300词，阅读约需5分钟。
📝
内容提要
本文讨论了SWE-bench Pro基准测试的评估问题，发现约30%的任务存在缺陷，主要包括测试过于严格、提示不明确和覆盖率低。通过人类审核和代理审查，确认了这些问题的普遍性，强调了建立高质量基准的重要性，以确保模型能力的准确评估。
🎯
关键要点
-
准确测量模型能力对于安全决策至关重要。
-
SWE-bench Pro基准测试发现约30%的任务存在缺陷。
-
缺陷主要包括：过于严格的测试、提示不明确和覆盖率低。
-
人类审核和代理审查确认了这些问题的普遍性。
-
建立高质量基准对于确保模型能力的准确评估非常重要。
-
建议模型开发者仔细检查结果，以避免误导性评估。
🔎
延伸解读
基准测试的重要性
基准测试在评估模型能力时至关重要。文章指出，SWE-bench Pro的缺陷可能导致对模型能力的误解，从而影响安全决策。因此，开发者需要重视基准测试的设计，确保其能够真实反映模型的能力和局限性。
评估缺陷的普遍性
研究发现，约30%的SWE-bench Pro任务存在缺陷，主要包括过于严格的测试和提示不明确。这些问题的普遍性提醒开发者在使用基准测试时，需谨慎分析结果，以避免误导性评估。
人类审核与代理审查的结合
文章强调了人类审核与代理审查相结合的重要性。通过多层次的审核机制，可以更全面地识别和解决基准测试中的问题。这种方法不仅提高了评估的准确性，也为未来的基准测试提供了改进的方向。
❓
延伸问答
SWE-bench Pro基准测试中发现了哪些主要缺陷？
主要缺陷包括过于严格的测试、提示不明确和覆盖率低。
为什么准确测量模型能力对安全决策至关重要？
准确测量模型能力可以避免误导性评估，确保安全决策的有效性。
人类审核和代理审查在评估中起到了什么作用？
人类审核和代理审查帮助确认评估中的问题，确保结果的准确性。
SWE-bench Pro的任务中有多少比例被认为是有缺陷的？
约30%的SWE-bench Pro任务被认为是有缺陷的。
如何确保基准测试的高质量？
通过建立质量保证管道和人类审核，确保每个数据点准确反映模型能力。
SWE-bench Pro与SWE-bench Verified相比有什么改进？
SWE-bench Pro在测试模型时使用了更长的时间范围和更现实的编码任务。
🏷️
