通过上下文推断减轻语言模型中强先验问题
内容提要
该文综述大语言模型提示工程研究，涵盖利用元数据先验提升下游任务性能、模型规模与提示捷径利用的关系、恶意提示注入攻击、意见提示与反事实演示增强上下文真实性、贪心搜索优化提示、对话历史压缩降低成本、贝叶斯提示缓解少样本过拟合，并提出目的论方法，指出任务、输出与输入概率影响GPT-3.5和GPT-4的准确性。
延伸解读
模型规模与提示捷径的关联
文章指出，随着语言模型规模增大，模型更可能利用提示中的捷径来完成任务，而非真正理解任务本质。这意味着在大型模型中，提示设计需格外谨慎，避免模型依赖表面线索，导致泛化能力下降。这一发现对提示工程实践有重要警示：不能简单认为模型越大效果越好，需关注其是否真正学会了任务。
提示注入攻击的实际风险
文章讨论了通过恶意提示注入攻击集成大型语言模型的应用，攻击者可从网络检索内容中植入有害提示。研究表明这种攻击实际可行，且需要加强缓解技术。这提醒开发者在构建基于LLM的应用时，必须考虑输入来源的安全性，对用户输入和外部检索内容进行严格过滤，以降低安全风险。
目的论视角下的模型评估
文章提出目的论方法，认为大语言模型的行为受其训练任务（互联网文本的下一个词预测）塑造。影响准确性的三个因素：任务执行概率、目标输出概率和输入概率。实验显示，当输出为高概率序列时，GPT-4解码简单密码的准确率达51%，低概率时仅13%。这表明在低概率场景下使用LLM需谨慎，且不应将LLM视为人类来评估。
提示优化与成本控制策略
文章涵盖多种提示优化技术：基于贪心搜索确定最佳提示以提高上下文学习性能；使用贝叶斯框架建模数据相关先验，减轻少样本过拟合；以及通过更紧凑的对话历史表示来降低API成本。这些方法从不同角度提升了LLM的实用性和经济性，为从业者提供了可借鉴的工程思路。
Q&A
什么是语言模型先验（LMPriors）？它如何提升下游任务性能？
语言模型先验（LMPriors）是一种利用元数据来鼓励下游模型与语言模型的常识推理保持一致的方法。研究表明，这种方法可以提高模型在特征选择、因果推断和安全强化学习等多个任务中的性能。
大语言模型在提示中利用捷径的行为与模型规模有什么关系？
研究表明，语言模型更可能利用提示中的快捷方式，尤其是当模型变得很大时。这意味着随着模型规模增大，它们可能更倾向于依赖提示中的表面模式而非深入理解。
什么是针对大语言模型的提示注入攻击？它如何实施？
提示注入攻击是指通过注入恶意提示，或从Web中检索包含有害预置提示的内容，来攻击集成应用程序的大型语言模型。研究表明这种攻击实际可行，需要加强技术进行缓解。
如何通过提示设计提高大语言模型在知识获取任务中的上下文真实性？
通过设计启示策略，特别是意见为基础的提示和反事实演示，可以有效提高上下文的真实性。在三个数据集上的实验表明，上下文中的忠实度有了显著提高。
如何优化提示以提高大语言模型的上下文学习性能？
可以提出一个度量标准来评估固定提示对标签或给定属性的预测偏差，并采用基于贪心搜索的搜索策略来确定最佳提示。在多种下游任务中使用GPT-3等模型进行的实验表明，该方法能有效提高上下文学习性能。
如何降低大语言模型对话系统的API成本？
通过研究使用大型语言模型建立对话系统的不同方法，并分析对话历史的表示方式，提出一种更紧凑的提供对话历史信息的方法，从而有效减少模型API的成本。
贝叶斯提示学习如何缓解少样本学习中的过拟合问题？
利用贝叶斯框架中的提示学习方法，通过建模数据相关先验，可以减轻少样本学习中的过拟合问题，提高提示信息对未知样例的适应性。在基准数据集上，该方法相比现有方法有显著性能改进。
目的论方法如何解释大语言模型的准确性？
目的论方法主张通过考虑大语言模型在训练中解决的问题（互联网文本的下一个词预测）来理解它们。该方法确定了三个影响准确性的因素：执行任务的概率、目标输出的概率和提供的输入的概率。当这些概率较高时，准确性更高；当概率较低时，即使在确定性环境下，概率也不应起作用。对GPT-3.5和GPT-4的评估验证了这些预测。
