InfoQ
·
Anthropic研究：AI编程助手使开发者技能掌握降低17%
内容提要
Anthropic的研究表明，依赖AI编程助手的开发者在理解测试中的得分低于手动编码者，且生产力提升不明显。52名初级工程师的研究显示，完全依赖AI生成代码的得分低于40%，而独立编码者得分超过65%。研究建议设计AI工具时应考虑支持工程师学习，以防止技能流失。
关键要点
-
Anthropic的研究显示，使用AI编程助手的开发者在理解测试中的得分比手动编码者低17%。
-
52名初级工程师的研究表明，完全依赖AI生成代码的得分低于40%，而独立编码者得分超过65%。
-
AI组在完成编码任务时速度略快，但差异没有统计学意义，测验得分显示AI组平均得分为50%，手动编码组为67%。
-
开发者与AI的互动方式对结果影响更大，完全依赖AI生成代码的低得分模式与高得分模式存在明显差异。
-
高得分模式包括在生成代码后提问、结合代码生成与解释，或在独立编码时仅使用AI进行概念性问题。
-
2024年的一项研究发现，使用大型语言模型（LLM）进行代码生成与调试的负相关性显著，而用于解释的LLM使用对学生表现没有显著负面影响。
-
Anthropic的研究建议在设计AI工具时应考虑支持工程师学习，以防止技能流失。
-
主要的LLM提供商现在提供专门的学习模式，旨在优先考虑理解而非简单的任务委托。
延伸解读
AI工具的学习支持
Anthropic的研究强调，在设计AI编程助手时，必须考虑如何支持开发者的学习。过度依赖AI可能导致技能流失，因此开发者应在使用AI时保持主动参与，结合提问和独立编码，以增强理解和掌握新工具的能力。
技能掌握与生产力的权衡
研究表明，虽然AI编程助手可能在某些情况下提高了任务完成速度，但这并不意味着生产力的提升是显著的。开发者在使用AI时需谨慎，避免因追求短期效率而牺牲长期技能发展，尤其是在学习新技术时。
高效使用AI的策略
研究发现，开发者与AI的互动方式对学习效果有显著影响。高得分的开发者通常在生成代码后主动提问或结合解释，而低得分者则倾向于完全依赖AI生成代码。开发者应学习如何有效利用AI作为辅导工具，而非简单的任务执行者。
延伸问答
AI编程助手对开发者的技能掌握有何影响？
研究表明，依赖AI编程助手的开发者在理解测试中的得分比手动编码者低17%。
使用AI生成代码的开发者在测试中表现如何？
完全依赖AI生成代码的开发者得分低于40%，而独立编码者得分超过65%。
开发者如何与AI互动会影响他们的学习效果？
高得分模式包括在生成代码后提问、结合代码生成与解释，或在独立编码时仅使用AI进行概念性问题。
Anthropic的研究对AI工具设计有什么建议？
研究建议在设计AI工具时应考虑支持工程师学习，以防止技能流失。
AI编程助手是否能提高开发者的生产力？
虽然AI组在完成编码任务时速度略快，但生产力提升未达到统计学意义。
使用大型语言模型（LLM）进行代码生成的影响是什么？
2024年的研究发现，使用LLM进行代码生成与调试的负相关性显著，而用于解释的LLM使用对学生表现没有显著负面影响。
