上下文学习可以重新学习被禁止的任务
内容提要
本文综述大语言模型上下文学习（ICL）研究，指出ICL可被恶意上下文操纵以增减越狱概率，ICLAttack通过毒化示例提升隐蔽性；ICL对标签扰动敏感性低于监督学习，黄金标签影响显著；ICL结构简单，可压缩为任务向量；其鲁棒性更多受预训练语料与监督方法影响；ICL机制含任务识别与任务学习；自动上下文学习框架可自主生成示例且性能出色。
延伸解读
上下文学习的安全风险：恶意操纵与越狱
文章指出，通过提供少量上下文演示，大型语言模型可被操纵以增加或减少越狱概率。ICLAttack等攻击方法通过毒化示例和提示，无需微调即可操纵模型行为，且隐蔽性更高。这提示我们，上下文学习在提升模型适应性的同时，也引入了新的安全漏洞，恶意用户可能利用上下文引导模型生成有害输出。
上下文学习与监督学习的鲁棒性对比
研究发现，上下文学习对标签扰动的敏感性低于监督学习，且随着模型规模增大，其性能逐渐与监督学习相当。黄金标签对下游性能影响显著，而不平衡标签的影响较小。这表明，在实际应用中，上下文学习可能更容忍噪声标签，但高质量示例仍至关重要。
上下文学习的机制与影响因素
上下文学习涉及任务识别和任务学习两个过程。其鲁棒性更多受预训练语料组成和监督方法影响，而非模型大小。例如，在代码上预训练的模型泛化更好，且更受益于思维链提示。这提示我们，优化预训练数据和方法可能比单纯增大模型更有效。
自动上下文学习框架的潜力
文章介绍了一种自动上下文学习框架，模型可自主生成示例（包括标签、说明或推理路径），并利用这些自产上下文解决问题。该框架具有普适性，在一系列任务中表现出色。这为减少对人工设计提示的依赖提供了新思路，但需注意其生成示例的质量和安全性。
Q&A
上下文学习可以被用来绕过大型语言模型的安全限制吗？
是的。通过提供少量上下文演示数据，不需要微调，大型语言模型可以被操纵以增加或减少越狱的概率。恶意上下文可以引导模型生成有害输出，而通过拒绝回答有害提示的演示可以增强模型的鲁棒性。
ICLAttack 攻击方法有什么特点？
ICLAttack 通过毒化示例和提示来操纵大型语言模型的行为，不需要额外的微调，从而提高了攻击方法的自然隐蔽性。
上下文学习对标签扰动的敏感性与监督学习相比如何？
通过比较 ICL 和监督学习（SL）在相同演示示例下训练相同 LLMs 的表现，发现 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。此外，黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；而不平衡标签对 ICL 的影响较小。
上下文学习的结构可以简化为什么形式？
上下文学习通常具有非常简单的结构，即对应于仅有查询 x 和从训练集计算得到的单个“任务向量”的 Transformer LLM，可将训练集 S 压缩为单个任务向量 θ(S)，并使用该任务向量来调节 Transformer 以产生输出。
影响大型语言模型在语法敏感性上变异性的主要因素是什么？
研究发现，相较于模型大小，模型在语法敏感性这一基本语言现象上的变异性更多地受到预训练语料库组成和监督方法的影响。同时，在代码上进行预训练的模型更好地推广，并在更大程度上受到思维链提示的益处。
上下文学习是如何工作的？
上下文学习从两个方面发挥作用：任务识别和任务学习，具有不同的性质和特点。
什么是自动上下文学习框架？
自动上下文学习是一个通用框架，在接收到用户的请求后，要求模型自主生成示例，包括标签、说明或推理路径，然后模型利用这个自产的上下文来解决给定的问题。该方法具有普适性，可在适用于普通上下文学习的任何环境中实施，并在一系列任务中取得了强大的性能。
