自我增强上下文学习用于无监督词语翻译
内容提要
本文综述多项大语言模型上下文学习（ICL）研究：SAIL利用搜索引擎增强生成与指令跟踪；BLI通过双语词典诱导取得新成绩；X-InSTA优化跨语言提示；SG-ICL让模型自生成演示以减少外部依赖；DAIL用数据增强提升低资源效果；研究还发现ICL对标签扰动不敏感，随模型增大逼近监督学习；Self-ICL以虚拟演示提升零样本能力。
延伸解读
上下文学习对标签噪声的鲁棒性
文章指出，ICL对标签扰动（如噪声标签和标签不平衡）的敏感性较低，且随着模型规模增大，其性能逐渐接近监督学习。这意味着在实际应用中，即使演示示例存在一定噪声，ICL仍可能保持较好效果，但黄金标签对大型模型的下游性能影响显著，因此选择高质量示例仍很重要。
减少外部依赖的自生成演示方法
SG-ICL和Self-ICL都致力于让模型自生成演示，以减少对外部标注数据的依赖。SG-ICL在文本分类任务上显著优于零样本学习，且生成的演示比随机选取的演示表现更一致、方差更低；Self-ICL则通过虚拟演示提升零样本能力。这些方法为低资源场景提供了实用思路。
低资源环境下的数据增强与词典诱导
DAIL通过数据增强提升低资源ICL效果，并探索投票一致性作为置信度评分；BLI利用双语词典诱导在多个语言对上取得最新成绩。这些工作表明，在资源匮乏时，结合数据增强和词典资源可以有效改善跨语言任务性能，但具体效果可能因语言对和任务而异。
Q&A
SAIL方法是什么？它有什么优势？
SAIL是搜索增强的指导学习方法，通过利用搜索引擎生成的跨度广泛的搜索结果来提高大型语言模型的生成能力和指令跟踪能力，在透明度敏感任务如开放式问题回答和事实检查中表现显著优势。
BLI任务中，大语言模型相比传统方法表现如何？
使用最新一代大语言模型系统研究BLI任务，包括无监督零样本诱导、少样本上下文诱导和标准BLI模型微调，在许多语言对上取得了最新的BLI成绩，优于当前BLI方法。
X-InSTA是什么？它用于解决什么问题？
X-InSTA是一种跨语言上下文源-目标对齐的提示构建策略，用于解决跨语言文本分类中的上下文学习问题，在44个不同的跨语言数据集上表现出很好的性能。
SG-ICL如何减少对外部演示的依赖？
SG-ICL是自生成上下文学习方法，让预训练语言模型生成自身的演示文稿，从而在上下文学习中减少对外部演示的依赖。在四个文本分类任务上，SG-ICL显著优于零样本学习，一般值约为0.6金培训样本，且生成的演示比随机选出的演示表现更一致、方差更低。
ICL对标签扰动的敏感性如何？与监督学习相比有何特点？
研究发现，黄金标签对下游上下文性能有显著影响，尤其是对大型语言模型；不平衡标签对ICL影响较小。与监督学习相比，ICL对标签扰动的敏感性较低，并且随着模型大小的增加，ICL逐渐获得与监督学习相当的性能。
Self-ICL是什么？它有什么作用？
Self-ICL是一种基于零样本学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行上下文学习。在BIG-Bench Hard上评估，该方法能显著提高模型性能。
