OpenAI
·
介绍SWE-Lancer基准
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
SWE-Lancer是一个包含1400多个自由软件工程任务的基准，价值100万美元。任务涵盖独立工程和管理决策，但模型表现仍未能解决大多数任务。我们已开源统一的Docker镜像和公共评估集，以促进未来研究。
🎯
关键要点
- SWE-Lancer是一个包含1400多个自由软件工程任务的基准，价值100万美元。
- 任务包括独立工程任务和管理决策任务。
- 独立任务通过经验丰富的软件工程师进行三重验证的端到端测试评分。
- 管理决策任务的评估基于原雇佣工程经理的选择。
- 模型性能评估显示，前沿模型仍无法解决大多数任务。
- 为了促进未来研究，已开源统一的Docker镜像和公共评估集SWE-Lancer Diamond。
- 通过将模型性能与货币价值映射，希望SWE-Lancer能促进对AI模型开发经济影响的研究。
- 2025年7月28日更新的数据集和结果已于2025年7月17日更新，更新后的数据集消除了执行期间对互联网连接的要求。
❓
延伸问答
SWE-Lancer是什么？
SWE-Lancer是一个包含1400多个自由软件工程任务的基准，价值100万美元。
SWE-Lancer的任务类型有哪些？
SWE-Lancer的任务包括独立工程任务和管理决策任务。
如何评估SWE-Lancer中的独立任务？
独立任务通过经验丰富的软件工程师进行三重验证的端到端测试评分。
SWE-Lancer的管理决策任务是如何评估的？
管理决策任务的评估基于原雇佣工程经理的选择。
SWE-Lancer的模型性能如何？
模型性能评估显示，前沿模型仍无法解决大多数任务。
SWE-Lancer如何促进未来的研究？
SWE-Lancer已开源统一的Docker镜像和公共评估集，以促进未来研究。
🏷️
标签
➡️
