岩石编码，而非开发 --LLM 支持的软件工程任务的人为中心的实验评估
原文中文，约1700字，阅读约需4分钟。
📝
内容提要
多项研究探讨ChatGPT等大型语言模型在编程教育中的应用。其在入门编程任务中正确率超94%，可生成代码、解释程序并辅助教学，但语义理解、调试和反馈准确性不足，可能误导初学者。教育者需加强指导并验证输出可靠性。
🔎
延伸解读
LLM在编程教育中的表现与局限
文章汇总的多项研究表明，大型语言模型在入门编程任务中正确率可达94%以上，能生成代码和解释，但语义理解、调试和反馈准确性不足，可能误导初学者。教育者需提供指导并验证输出可靠性，不能完全依赖LLM的反馈。
学生使用ChatGPT的体验与挑战
一项学生至上的调查发现，计算机科学本科生普遍认为ChatGPT对课程任务有帮助，但长期接纳面临挑战，如过度依赖和准确性验证。这些发现可推广到其他LLM，提示教育者需引导学生合理使用，并关注学术诚信问题。
LLM在软件工程中的能力边界
研究显示，ChatGPT在代码语法理解上较强，但在动态语义理解上存在困难，容易产生虚假输出。在安全领域，GPT-4较GPT-3.5有显著改进，但处理长代码上下文能力受限。因此，在软件工程中应用LLM时，需进一步探索验证输出正确性的方法。
❓
Q&A
大型语言模型在入门编程任务中的正确率有多高？
根据研究，大型语言模型在入门编程任务中的正确响应率为94.4%至95.8%。
ChatGPT在代码语义理解方面存在哪些不足？
ChatGPT在代码的语义理解方面，特别是动态语义方面存在困难，容易产生虚假输出。
教育者应如何应对LLM在编程教育中的使用？
教育者应提供指导，因为LLM提供的反馈可能对初学者包含误导性信息，需要验证其输出可靠性。
ChatGPT在调试任务中的表现如何？
ChatGPT在调试任务中表现不佳，尽管在结构化问题方面表现出较好的成功率。
GPT-4在安全任务中相比GPT-3.5有哪些改进？
GPT-4在大多数安全任务中相较于GPT-3.5有显著改进，但处理长代码上下文的能力仍受限。
学生对使用ChatGPT辅助课程任务的态度如何？
大多数学生对ChatGPT在课程相关任务中的辅助性态度积极，但也存在长期接纳的挑战。
🏷️
