我们为何不再评估SWE-bench Verified
内容提要
自2024年发布以来，SWE-bench Verified被广泛用于评估自主软件工程模型的进展。然而，分析显示其测试存在缺陷，导致模型能力的提升未能真实反映实际开发能力。OpenAI建议停止报告该基准分数，并开发新的评估方法。
延伸解读
评估方法的局限性
SWE-bench Verified的评估方法存在显著缺陷，导致模型能力的提升未能真实反映实际开发能力。59.4%的审核问题显示测试用例设计不当，可能会拒绝正确的解决方案。这意味着依赖该基准进行能力评估可能会导致误导性结果，开发者需谨慎解读分数。
污染风险的影响
由于SWE-bench Verified的测试问题源自公共材料，模型开发者面临污染风险。模型在训练过程中可能接触到评估问题和解决方案，导致评估结果不准确。因此，开发者应进行额外的污染测试，以确保评估的有效性和可靠性。
未来评估的方向
OpenAI正在开发新的、未受污染的评估方法，以更好地跟踪编码能力。这一方向不仅对OpenAI自身重要，也对整个研究社区具有指导意义。开发者应关注这些新方法的进展，以便在未来的模型评估中采用更可靠的标准。
Q&A
SWE-bench Verified的主要问题是什么？
SWE-bench Verified的主要问题是其测试存在缺陷，导致59.4%的审核问题拒绝正确解决方案，无法真实反映模型的开发能力。
OpenAI对SWE-bench Verified的建议是什么？
OpenAI建议停止报告SWE-bench Verified的分数，并开发新的评估方法以更好地跟踪编码能力。
为什么SWE-bench Verified的改进不再反映真实能力？
因为大型模型在训练时可能接触到评估问题和解决方案，导致评估结果受到污染，无法准确反映模型的真实开发能力。
SWE-bench Verified的测试设计存在哪些具体问题？
测试设计存在过于狭窄和过于宽泛的问题，导致许多功能正确的提交被拒绝，或测试未能覆盖所有相关功能。
如何避免模型开发中的污染风险？
模型开发者应进行额外的污染测试，并在使用公开材料时采取额外的保护措施，如密码保护数据集。
SWE-bench Pro与SWE-bench Verified有什么不同？
SWE-bench Pro相较于SWE-bench Verified在污染问题上较少，OpenAI推荐其他模型开发者报告SWE-bench Pro的结果。
