InfoQ
·
Anthropic研究：AI编程助手使开发者技能掌握降低17%
💡
原文英文，约600词，阅读约需3分钟。
📝
内容提要
Anthropic的研究表明，依赖AI编程助手的开发者在理解测试中的得分低于手动编码者，且生产力提升不明显。52名初级工程师的研究显示，完全依赖AI生成代码的得分低于40%，而独立编码者得分超过65%。研究建议设计AI工具时应考虑支持工程师学习，以防止技能流失。
🎯
关键要点
- Anthropic的研究显示，使用AI编程助手的开发者在理解测试中的得分比手动编码者低17%。
- 52名初级工程师的研究表明，完全依赖AI生成代码的得分低于40%，而独立编码者得分超过65%。
- AI组在完成编码任务时速度略快，但差异没有统计学意义，测验得分显示AI组平均得分为50%，手动编码组为67%。
- 开发者与AI的互动方式对结果影响更大，完全依赖AI生成代码的低得分模式与高得分模式存在明显差异。
- 高得分模式包括在生成代码后提问、结合代码生成与解释，或在独立编码时仅使用AI进行概念性问题。
- 2024年的一项研究发现，使用大型语言模型（LLM）进行代码生成与调试的负相关性显著，而用于解释的LLM使用对学生表现没有显著负面影响。
- Anthropic的研究建议在设计AI工具时应考虑支持工程师学习，以防止技能流失。
- 主要的LLM提供商现在提供专门的学习模式，旨在优先考虑理解而非简单的任务委托。
❓
延伸问答
AI编程助手对开发者的技能掌握有何影响？
研究表明，依赖AI编程助手的开发者在理解测试中的得分比手动编码者低17%。
使用AI生成代码的开发者在测试中表现如何？
完全依赖AI生成代码的开发者得分低于40%，而独立编码者得分超过65%。
开发者如何与AI互动会影响他们的学习效果？
高得分模式包括在生成代码后提问、结合代码生成与解释，或在独立编码时仅使用AI进行概念性问题。
Anthropic的研究对AI工具设计有什么建议？
研究建议在设计AI工具时应考虑支持工程师学习，以防止技能流失。
AI编程助手是否能提高开发者的生产力？
虽然AI组在完成编码任务时速度略快，但生产力提升未达到统计学意义。
使用大型语言模型（LLM）进行代码生成的影响是什么？
2024年的研究发现，使用LLM进行代码生成与调试的负相关性显著，而用于解释的LLM使用对学生表现没有显著负面影响。
➡️
