软件工程项目中对 LLMs 的使用和感知的实证研究
内容提要
该文综述大型语言模型在科研中的应用，涵盖软件工程、法律、心理学、计算机教育等领域，显示其可辅助测试用例生成、代码摘要、学生评估与心理研究，但存在数据隐私、偏见、可解释性等伦理与技术局限，需负责任地使用。
延伸解读
LLM在软件工程中的研究趋势
文章基于2017至2023年的229篇论文，系统梳理了LLM在软件工程中的研究进展。从时间线看，2023年相关研究显著增多，覆盖测试用例生成、代码摘要、学生评估等任务。这反映出LLM正快速渗透到软件工程多个环节，但研究仍处于早期探索阶段，实际落地效果需进一步验证。
数据质量与提示优化的关键作用
综述特别指出，稳健且经过良好策划的数据集对成功实施LLM至关重要。同时，提示优化技术是提升LLM在软件工程任务中性能的常见策略。这意味着，除了模型本身，数据准备和提示设计是影响应用效果的两大因素，实践者需在这两方面投入精力。
跨领域应用的共性与挑战
文章不仅聚焦软件工程，还涉及法律、心理学、计算机教育等领域。这些领域均面临数据隐私、偏见、可解释性等伦理与技术局限。例如，法律应用需关注隐私和偏见，心理学研究强调伦理标准。这表明LLM的跨领域应用存在共性挑战，需负责任地使用。
人机协作与模型差异
研究比较了人类分析师与LLM的分类和推理能力，发现存在显著差异，但二者合作可能产生协同效应。此外，在代码摘要任务中，代码专用模型优于通用模型，零样本方法在分布不同的数据集上表现更好。这些发现提示，实际应用中应重视人机协作和模型选择。
Q&A
大型语言模型在软件工程中主要有哪些应用？
根据文章，LLMs在软件工程中的应用包括测试用例生成、代码摘要、代码生成以及学生编程解答的自动评估等。
在软件工程中使用大型语言模型面临哪些挑战或局限？
文章指出，LLMs在软件工程中面临模型可解释性、伦理考虑、适应不同软件环境的挑战，以及数据隐私、偏见等技术局限。
大型语言模型在心理学领域有哪些应用？
LLMs在心理学中可用于文献综述、假设生成、实验设计、实验对象选择、数据分析、学术写作和同行评审，并影响认知与行为心理学、临床与咨询心理学、教育与发展心理学以及社会与文化心理学等多个领域。
大型语言模型在法律领域的应用引发了哪些问题？
文章提到，LLMs在法律领域的应用引发了隐私、偏见等法律问题，并探讨了数据资源领域学习上下文中的潜在方向。
如何评估大型语言模型在软件工程任务中的性能？
文章调查了优化和评估LLMs在软件工程中性能的策略，包括与提示优化相关的常见技术，并强调稳健、经过良好策划的数据集对成功实施LLM的关键作用。
大型语言模型在计算机教育中有什么应用和伦理问题？
文章综合调查和分析了人工智能和大型语言模型在计算机教育中的应用及其引发的伦理问题。
