超越代码生成：软件工程实践中 ChatGPT 使用的观察研究
内容提要
大型语言模型（LLMs）在代码生成方面表现优异，但在实际开发中仍存在局限性。研究显示，开发者主要利用LLMs展示概念，而非生成可投入生产的代码。未来需要提升LLMs的能力，以更好地支持软件开发。
延伸解读
研究环境与真实开发的差距
文章指出，先前关于LLM代码生成能力的研究大多在研究环境中进行评估，这与实际开发场景存在显著差异。这种差距意味着，实验室中的优异表现未必能直接转化为开发者在日常工作中的有效支持。因此，仅凭受控实验的结果来推断LLM在实际软件开发中的价值可能过于乐观，需要更多基于真实开发环境的研究来验证。
当前LLM代码生成的实际用途
基于对DevGPT数据集的实证分析，文章发现开发者使用ChatGPT生成的代码通常仅限于展示高级概念或在文档中提供示例，而非直接用于生产就绪的代码。这表明，尽管LLM在代码生成方面表现出熟练度，但其输出在实际项目中更多扮演辅助理解和沟通的角色，而非替代开发者编写可部署的代码。
对软件开发实践的启示
文章强调，在LLM成为现代软件开发的重要组成部分之前，仍需大量未来工作来改进其代码生成能力。这意味着，开发者和团队在将LLM集成到工作流程时，应认识到当前工具的局限性，避免过度依赖其生成生产代码。同时，这也为工具开发者和研究者指明了方向：提升LLM在真实开发场景中的实用性和可靠性是关键。
Q&A
大型语言模型在代码生成方面的表现如何？
大型语言模型在代码生成方面表现出色，但在实际开发中存在局限性。
开发者主要如何利用大型语言模型？
开发者主要利用大型语言模型展示高级概念，而非生成可投入生产的代码。
未来如何改进大型语言模型以支持软件开发？
需要进一步改进大型语言模型的能力，以更好地支持软件开发。
ChatGPT在软件开发中的应用有哪些？
ChatGPT在编程、源代码分析、代码生成等多个领域中有应用。
使用大型语言模型进行编程教育的潜力如何？
大型语言模型在入门编程任务和学生错误方面表现出合理的性能，但需教育者提供指导。
ChatGPT在解决编码问题方面的表现如何？
ChatGPT在解决简单编码问题方面表现良好，但在支持典型软件开发任务方面表现不佳。
