基于上下文的极端多标签分类学习
内容提要
本文综述了利用密集检索模型为大型语言模型挑选高质量上下文示例以提升上下文学习表现的方法。实验表明，该方法在意图分类、细粒度情感分类、多语言自然语言理解及序列到序列任务上优于微调和随机抽样，并具良好泛化能力。研究还分析了示例相似性、类名语义及示例与标签对应关系的影响，并提出RetICL等方法优化示例选择。
延伸解读
密集检索如何提升上下文学习
文章指出，利用预训练的密集检索模型为大型语言模型挑选高质量上下文示例，可以提升上下文学习表现。在有限样本设置下的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，该方法甚至优于微调性能。这提示读者，示例选择的质量可能比单纯增加示例数量更重要，而检索模型在其中扮演了关键角色。
示例相似性与标签对应关系的影响
研究分析了示例相似性、类名语义内容以及示例与标签之间正确对应关系的作用。文章提到，在不同领域中需要不同程度的上下文示例相似性，并且类名的语义内容也会影响效果。这意味着在实际应用中，不能简单套用固定的示例选择策略，而需要根据任务领域和标签体系调整相似性标准，并确保示例与标签的对应准确。
RetICL：可学习的示例选择方法
文章介绍了RetICL方法，它将顺序示例选择问题建模为马尔可夫决策过程，使用LSTM设计示例检索器，并用PPO训练。在数学问题求解数据集上，RetICL优于启发式和可学习的基线，并在TabMWP数据集上达到最先进准确率。案例研究还显示，RetICL隐含学习了数学问题求解策略的表示方式，说明示例选择本身可以成为一种可训练的能力。
泛化能力与多任务适用性
实验表明，基于密集检索的示例选择框架在意图分类、细粒度情感分类、多语言自然语言理解及序列到序列任务上均表现良好，并具有泛化能力。在多语言和交叉语言设置下，检索语义相似的少样本示例也优于随机抽样。这提示读者，该方法不局限于单一任务或语言，但文章也指出不同领域对示例相似性的需求不同，实际部署时仍需针对具体场景验证。
Q&A
如何利用密集检索模型提升大语言模型的上下文学习表现？
通过训练密集检索器来识别高质量的上下文示例，为大型语言模型挑选合适的示例，从而显著提高上下文学习性能，并具有良好的泛化能力。
在哪些任务上密集检索示例选择方法优于微调和随机抽样？
在意图分类、细粒度情感分类、多语言自然语言理解及序列到序列任务上，该方法优于微调和随机抽样。
选择上下文示例时，除了语义相似性，还有什么因素能提升性能？
选择有助于解决测试示例周围固有标签模糊性的示例，特别是包括之前被LLM错误分类且与测试示例决策边界相近的示例，能带来最大性能提升。
RetICL是什么？它如何选择上下文示例？
RetICL是一种可学习方法，将顺序示例选择问题建模为马尔可夫决策过程，使用LSTM设计示例检索器模型，并用PPO训练，以优化逐个选择任务示例。
在多语言和交叉语言设置下，检索语义相似的少样本示例能提升性能吗？
能。研究表明，在英语以外的单语言和交叉语言任务中，检索语义相似的少样本示例方法均优于随机抽样。
上下文示例的相似性、类名语义和示例与标签对应关系对模型有什么影响？
实验分析表明，在不同领域中需要不同程度的上下文示例相似性，类名的语义内容和示例与标签之间的正确对应关系也会影响模型对上下文示例的利用。
