查尔斯大学教授 LLM 学生的作业和活动
内容提要
本文探讨了大型语言模型（LLMs）在实际应用中的潜力与挑战，包括偏见、上下文理解和提示敏感性。研究表明，LLMs在自动评估和业务流程中具有实用性，但存在被操纵和评估质量不稳定的问题。建议将LLMs视为教师的合作伙伴，并强调负责任的应用和未来研究方向。
延伸解读
LLM自动评估的课堂实践风险
文章通过一项1028名学生的大学课程实验发现，学生可以轻易操纵基于LLM的评估器输出特定字符串，从而在不符合作业评分标准的情况下获得高分。同时，学生反馈LLM有时未能遵循评估指示。这表明，在真实课堂中直接使用LLM进行自动评分存在被滥用的风险，且评估质量不稳定。因此，教师需谨慎设计评估流程，避免完全依赖LLM的自动评判。
LLM作为教师合作伙伴的定位
研究建议将LLM视为教师评估委员会的合作伙伴，而非替代者。在预先规定评分标准的场景下，LLM与教师评估之间存在强相关性，且LLM评估中的差异可解释为多样性而非混乱。这意味着LLM可以辅助教师减轻工作量，但最终评估决策仍需人类专业判断。人机协作模式能互补双方优势，提升评估的全面性和公平性。
影响LLM评估性能的关键因素
文章指出，任务制定、上下文长度和少样本示例三个因素会影响LLM的评估性能，且预测一致性与性能之间存在关系。这意味着在实际应用中，教师需要优化提示设计，提供清晰的评分标准和足够的上下文，才能获得更可靠的评估结果。同时，计算效率和预测一致性也是选择LLM评估方案时需权衡的指标。
LLM在业务流程中的准备度与局限
针对四个可访问LLM的实验表明，LLM在业务流程中具有实用性和准备性，但存在偏见、上下文理解和对提示敏感等限制。组织在利用生成式人工智能时，需认识到这些挑战，并采取优化提示技术、结合人类专业知识等缓解策略。尽管LLM成本效益高，但成功部署依赖于对模型局限的清醒认知和负责任的应用。
Q&A
大型语言模型（LLMs）在实际应用中存在哪些挑战？
LLMs在偏见、上下文理解和提示敏感性方面存在限制，可能导致评估质量不稳定和被操纵的问题。
如何将LLMs应用于课堂作业的自动评估？
LLMs可以作为自动作业评估器，但在实际应用中，学生反馈显示其有时未能遵循评估指示，且学生可能操纵评估器以获得高分。
LLMs在业务流程中的实用性如何？
研究表明，LLMs在业务流程中具有显著的实用性和准备性，对希望利用生成式人工智能的组织具有重大影响。
使用LLMs进行自动评估的优缺点是什么？
优点包括成本效益和高效性，缺点则包括提示调优、偏见和主观性等挑战。
未来研究方向对LLMs的应用有什么建议？
建议将LLMs视为教师评估委员会的合作伙伴，并强调负责任的应用和优化提示技术。
LLMs在软件工程教育中的作用是什么？
LLMs在软件开发的早期阶段可以帮助生成基础代码结构和语法、错误调试，提高学生的生产力。
