ChatGPT 在电子学位论文中用于 LCSH 主题分配的实验
内容提要
本文探讨了大型语言模型（LLMs）在计算机科学教育中的应用，特别是ChatGPT在编程任务、元数据注释和文本摘要方面的表现。研究表明，学生对ChatGPT的态度积极，但长期接受仍面临挑战。编程任务的评估显示其正确响应率高达94.4%至95.8%，为编程教育提供了新思路。
延伸解读
LLM在编程教育中的表现与局限
文章指出，ChatGPT在入门级Python编程任务中正确率高达94.4%至95.8%，且生成的文本解释和代码可用性可靠。这为将LLM纳入编程教学和评估提供了依据。但需注意，这些结果基于CodingBat的72个任务，可能不适用于更复杂的编程场景。教育者应结合具体教学目标，合理利用LLM的辅助功能，同时关注其潜在错误。
元数据注释中LLM的对比与发现
在列标题主题注释任务中，ChatGPT和Google Gemini在内部一致性和人机一致性上优于Google Bard。有趣的是，上下文信息对模型表现没有影响。这表明LLM在自动化元数据增强方面具有潜力，可提升数据集的FAIR原则。但研究也提示，不同模型性能存在差异，实际应用中需谨慎选择。
学生态度与长期接纳挑战
通过学生调查和访谈，研究发现大多数计算机科学本科生对ChatGPT在课程任务中的辅助作用持积极态度。然而，长期接纳仍面临各种挑战，如学术诚信、依赖性问题等。这些发现具有广泛意义，可适用于其他LLM。教育机构在推广LLM时，需制定相应政策，平衡其益处与风险。
Q&A
ChatGPT在编程任务中的表现如何？
ChatGPT在编程任务中的正确响应率高达94.4%至95.8%。
学生对ChatGPT的态度是什么？
大多数学生对ChatGPT在课程相关任务中的辅助性态度积极，但长期接受仍面临挑战。
ChatGPT与其他大型语言模型相比表现如何？
ChatGPT和GoogleGemini在内部一致性和人机一致性方面优于GoogleBard。
如何利用大型语言模型进行元数据注释？
本文提出了一种利用大型语言模型进行文本分类的新方法，有潜力促进自动化的元数据增强。
ChatGPT在文本摘要方面的应用潜力如何？
ChatGPT在文本摘要性能上可以与传统的微调方法媲美，开辟了新方向。
大型语言模型在计算机科学教育中的作用是什么？
大型语言模型在计算机科学教育中提供了新的思路，尤其是在编程任务和元数据注释方面。
