探索 LLM 联合作文评分和反馈生成的提示策略
内容提要
研究表明，大型语言模型（LLMs），尤其是GPT-4和GPT-3.5，在自动评分和写作反馈方面表现优越，能够有效提升文章质量。通过多种提示策略和内容增强技术，个性化推荐性能得到改善。尽管手动提示仍是重要基线，但自动提示技术在不同任务中的应用显示出其潜力。
延伸解读
LLM自动评分：优势与局限
文章指出，基于LLM的自动作文评分系统在准确性、一致性、泛化能力和可解释性上超越传统模型，并能提升人工评分员的表现。然而，研究也强调，开箱即用的LLM虽能提供补充视角，但尚不能独立完成评分，仍需人工监督。这提示教育工作者在采用此类工具时，应将其定位为辅助角色，而非完全替代人工判断。
提示策略：手动与自动的权衡
文章对比了手动提示与自动提示技术。自动提示在多个任务中展现出潜力，例如在Big Bench Hard的八个任务上平均提升9.2%的准确度，但研究也发现自动提示并不总是优于简单的手动提示。因此，在实际应用中，手动提示仍应作为重要基线，与自动方法结合使用，以平衡效果与效率。
多特征专业化：小模型逆袭的关键
文章提到一种多特征专业化（MTS）方法，通过将写作熟练度分解为不同特征并生成评分标准，再借助LLM提取特征得分。实验证明，MTS在所有LLM和数据集上均优于直接提示，且使小规模的Llama2-13b-chat显著优于ChatGPT。这表明，合理的任务分解和提示设计能有效提升小模型的表现，为实际部署提供更经济的方案。
输入增强与个性化推荐
文章还探讨了通过输入增强提升个性化内容推荐性能的方法，如LLM-Rec提出的四种提示策略。实证表明，结合原始内容描述和LLM生成的增强输入文本，能改善推荐效果。这强调了将多样提示与输入增强技术结合的重要性，为利用LLM提升推荐系统性能提供了可行路径。
Q&A
大型语言模型在自动评分方面的表现如何？
大型语言模型（LLMs），尤其是GPT-4和GPT-3.5，在自动评分方面表现优越，具有卓越的准确性、一致性和可解释性，超越传统评分模型。
什么是LLM-Rec方法，它的作用是什么？
LLM-Rec是一种结合多种提示策略的方法，旨在提高大型语言模型在个性化内容推荐中的性能，包含基本提示、推荐驱动的提示等。
自动提示技术在不同任务中的应用效果如何？
自动提示技术在多个任务中显示出潜力，但并不总是优于手动提示，手动提示仍然是重要的基线。
如何通过提示策略改善写作反馈的质量？
通过结合原始内容描述和LLM生成的增强输入文本，使用多种提示策略可以显著改善写作反馈的质量。
手动提示与自动提示的比较结果是什么？
研究表明，手动提示在某些情况下仍然是重要的基线，自动提示并不总是优于手动提示。
大型语言模型如何支持教育工作者的评分程序？
大型语言模型为教育工作者提供了补充视角，帮助验证评分程序，但仍需人工监督以确保评分的准确性。
