OpenAI「草莓」模型再次跳票，凌晨发布的SWE-bench Verified是个啥？
原文中文，约4000字，阅读约需10分钟。
📝
内容提要
初创公司Cosine推出自主AI程序员Genie，其在SWE-bench上得分30%，超过了AI程序员Devin的13.8%。OpenAI发布了改进版本SWE-bench Verified，GPT-4o在该版本上的性能达到33.2%，是原始SWE-bench的两倍多。
❓
Q&A
SWE-bench是什么？
SWE-bench是用于评估大型语言模型解决GitHub上真实软件问题能力的基准测试数据集。
OpenAI发布的SWE-bench Verified有什么改进？
SWE-bench Verified通过人工筛选和改进，确保单元测试范围适当且问题描述明确，解决了原始版本的问题。
Cosine的Genie与Devin相比表现如何？
Cosine推出的Genie在SWE-bench上得分30%，超过了Devin的13.8%。
SWE-bench Verified的样本筛选标准是什么？
样本筛选标准包括问题描述是否明确和单元测试是否公平，严重性标签范围为0到3。
GPT-4o在SWE-bench Verified上的表现如何？
GPT-4o在SWE-bench Verified上的性能达到33.2%，是原始SWE-bench得分的两倍多。
SWE-bench的改进对AI编程能力评估有什么影响？
改进后的SWE-bench Verified提高了评估的公平性和准确性，许多AI编程智能体的得分都比原来要高。
🏷️
