基于零样本 LLM 排名器的提示变体研究
内容提要
本研究探讨大型语言模型在推荐系统中的排名能力，发现其在零样本排名上表现良好，但历史互动顺序等因素会影响效果。不同提示策略显著影响分类准确性，提出了一种新颖的 Setwise 提示方法以提高效率，并评估了多种提示类型在临床自然语言处理任务中的表现，为提示设计提供了新见解。
延伸解读
提示策略的权衡：效果与效率
文章比较了Pointwise、Pairwise和Setwise三种提示方法。Pointwise效率高但效果较差；Pairwise效果出色但计算开销大；Setwise通过减少LLM推理次数和提示令牌消耗，在保持较高零样本排序效果的同时大幅降低计算成本。这为实际部署时选择提示方法提供了依据。
零样本排名中历史互动顺序的影响
研究发现，大型语言模型在零样本排名上表现良好，但历史互动的顺序、位移等因素会影响其表现。不同的提示和启发方法也会对结果产生显著影响。这意味着在推荐系统等场景中，输入信息的组织方式可能改变模型输出，设计时需谨慎处理交互历史。
提示敏感性对评估的挑战
文章指出，几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在模型增大、样本增多或指令调优后依然存在。因此，仅凭困惑度、词频、歧义或提示长度无法解释模型性能，需要更健壮和综合的评估标准来比较不同提示的效果。
临床NLP中的提示工程实证
文章综合评估了多种提示类型在五个临床自然语言处理任务（如临床意义消除、生物医学证据提取等）上的表现，测试了GPT-3.5、BARD和LLAMA2三种模型。结果表明，不同提示策略可显著影响分类准确性，准确性和F1分数差异超过10%，为临床NLP领域的提示设计提供了新见解和指南。
Q&A
大型语言模型在推荐系统中的排名能力如何？
大型语言模型在零样本排名上表现良好，但历史互动顺序等因素会影响其效果。
什么是 Setwise 提示方法，它有什么优势？
Setwise 提示方法通过减少推理次数和提示令牌消耗，提高了零样本排序的效率。
不同提示策略对分类准确性有多大影响？
不同提示策略显著影响分类准确性，准确性和 F1 分数的差异超过 10%。
研究中评估了哪些大型语言模型的性能？
研究评估了 ChatGPT 和 OpenAssistant 等公共可访问的 LLM 的零次效果。
如何优化大型语言模型的提示设计？
论文探讨了手动设计、优化算法和评估方法等多种提示设计方法，以优化模型性能。
研究中提到的评估挑战有哪些？
研究讨论了评估提示性能所面临的挑战，包括困惑度、词频和提示长度等因素。
