DEV Community
·
研究显示，AI模型在真实编程工作中仍远未达到赚取100万美元的水平
💡
原文英文，约200词，阅读约需1分钟。
📝
内容提要
一项研究显示，当前AI模型在真实编程工作中的表现仍未达到理想水平。新基准SWE-Lancer包含1400多个自由软件工程任务，经过严格测试，AI在大多数任务上的解决能力较差。
🎯
关键要点
- 一项研究表明，当前AI模型在真实编程工作中的表现仍未达到理想水平。
- 新基准SWE-Lancer包含1400多个自由软件工程任务，总价值达100万美元。
- 任务包括编码任务（价值从50美元到32000美元不等）和管理决策。
- 所有任务经过严格测试和专家验证。
- 发布了开源Docker镜像和评估数据集。
- 当前AI模型在大多数任务上的解决能力较差。
❓
延伸问答
当前AI模型在编程工作中的表现如何？
当前AI模型在真实编程工作中的表现仍未达到理想水平，解决能力较差。
SWE-Lancer基准包含哪些类型的任务？
SWE-Lancer基准包含1400多个自由软件工程任务，包括编码任务和管理决策。
SWE-Lancer基准的总价值是多少？
SWE-Lancer基准的总价值达100万美元。
AI模型在SWE-Lancer任务中的解决能力如何？
AI模型在大多数SWE-Lancer任务上的解决能力较差。
SWE-Lancer的任务是如何验证的？
所有任务经过严格测试和专家验证。
研究中发布了哪些资源？
研究中发布了开源Docker镜像和评估数据集。
➡️
