InfoQ
·
AI编码工具在经验丰富的开发者实地研究中表现不佳
💡
原文英文，约600词，阅读约需2分钟。
📝
内容提要
一项研究质疑了AI工具加速软件开发的普遍看法。METR的研究发现，使用AI辅助编程的开发者任务完成时间增加了19%。尽管开发者认为工作更快，实际结果却显示AI工具可能导致生产力下降。研究强调评估AI工具需基于严格测量，而非用户主观感受。
🎯
关键要点
- 一项研究质疑了AI工具加速软件开发的普遍看法。
- METR的研究发现，使用AI辅助编程的开发者任务完成时间增加了19%。
- 尽管开发者认为工作更快，实际结果却显示AI工具可能导致生产力下降。
- 研究采用随机对照试验，参与者为16名经验丰富的开发者。
- 研究收集了任务持续时间、代码质量和开发者感知等客观和主观指标。
- AI辅助开发者完成任务的时间比没有AI的开发者长19%。
- 研究指出，AI工具引入的摩擦可能导致生产力下降。
- 作者强调评估AI工具需基于严格测量，而非用户主观感受。
- 研究结果不应过于泛化，许多因素与特定设计相关。
- 未来系统可能克服当前观察到的挑战，提升生产力。
❓
延伸问答
这项研究的主要发现是什么？
研究发现，使用AI辅助编程的开发者任务完成时间比没有使用AI的开发者长19%。
研究是如何进行的？
研究采用随机对照试验，招募了16名经验丰富的开发者，评估他们在使用和不使用AI工具时的任务表现。
为什么开发者认为使用AI工具能提高效率？
开发者认为AI工具能加速工作，但实际结果显示生产力下降，存在感知与实际之间的差距。
研究中提到的“摩擦”是什么？
摩擦指的是使用AI工具时，开发者在提示、审查AI生成建议和与复杂代码集成时所花费的额外时间。
研究结果是否可以广泛应用于其他情况？
作者警告不要过于泛化研究结果，因为许多因素与特定设计相关，可能不适用于其他环境。
未来的AI系统可能如何改善当前的挑战？
未来的系统可能通过改进提示技术、代理架构或领域特定的微调来克服当前观察到的挑战，提升生产力。
➡️
