OpenAI「草莓」模型再次跳票，凌晨发布的SWE-bench Verified是个啥？
内容提要
初创公司Cosine推出自主AI程序员Genie，其在SWE-bench上得分30%，超过了AI程序员Devin的13.8%。OpenAI发布了改进版本SWE-bench Verified，GPT-4o在该版本上的性能达到33.2%，是原始SWE-bench的两倍多。
延伸解读
SWE-bench Verified 的改进逻辑
原始 SWE-bench 存在单元测试过于具体、问题描述模糊、环境设置困难等问题，导致正确解决方案被误判。OpenAI 与原作者合作，通过人工筛选确保单元测试范围适当、问题描述明确，并开发容器化评估工具。这些改进旨在提高基准的稳健性和可靠性，使评估更公平。
人工筛选过程与结果
OpenAI 与 93 位 Python 开发者合作，对 1699 个随机样本进行注释，关注问题描述清晰度和单元测试公平性。严重程度标签 2 或 3 的样本被丢弃。结果 68.3% 的样本因问题陈述不明确、单元测试不公平或其他问题被过滤，最终形成包含 500 个样本的 SWE-bench Verified。
性能提升与难度分布
在 SWE-bench Verified 上，GPT-4o 性能达 33.2%，是原始 SWE-bench 的两倍多。性能提升并非仅因样本更简单：从原始到 SWE-bench Lite 是子采样使基准更容易，而 Verified 是移除不可行样本。分层分析显示，智能体在各个难度类别上均有提升，证实了原始基准低估了能力。
Q&A
SWE-bench是什么？
SWE-bench是用于评估大型语言模型解决GitHub上真实软件问题能力的基准测试数据集。
OpenAI发布的SWE-bench Verified有什么改进？
SWE-bench Verified通过人工筛选和改进，确保单元测试范围适当且问题描述明确，解决了原始版本的问题。
Cosine的Genie与Devin相比表现如何？
Cosine推出的Genie在SWE-bench上得分30%，超过了Devin的13.8%。
SWE-bench Verified的样本筛选标准是什么？
样本筛选标准包括问题描述是否明确和单元测试是否公平，严重性标签范围为0到3。
GPT-4o在SWE-bench Verified上的表现如何？
GPT-4o在SWE-bench Verified上的性能达到33.2%，是原始SWE-bench得分的两倍多。
SWE-bench的改进对AI编程能力评估有什么影响？
改进后的SWE-bench Verified提高了评估的公平性和准确性，许多AI编程智能体的得分都比原来要高。
