XAMPLER：跨语言背景中检索示例的学习
内容提要
本文提出了一种名为XPR的方法，从无标注例句中提取短语表示以实现跨语言短语检索，并创建了包含65K双语短语对和4.2M例句的数据集。实验结果表明，XPR在多语言和交叉语言任务中优于传统方法，具备良好的零-shot迁移能力。此外，研究探讨了通过上下文检索提升大型语言模型性能的方法。
延伸解读
XPR 的核心思路与数据基础
XPR 从无标注例句中提取短语表示，用于跨语言短语检索。其数据基础包括 65K 双语短语对和 4.2M 例句，规模较大。这种方法不依赖词级或句级表示，而是利用短语的细粒度信息，有助于处理多义词问题。实验显示，XPR 在多语言和交叉语言任务中优于传统基线，并具备零样本迁移能力，能在训练中未见过的语言对上执行检索。
跨语言检索增强 LLM 的多种路径
文章列举了多项相关研究，探索通过检索语义相似的少样本示例来提升 Transformer 模型性能。这些方法包括训练密集检索器识别高质量上下文示例、利用高资源语言提示改善低资源语言任务、以及 CREA-ICL 和 XRICL 等框架。结果表明，检索增强的上下文学习在单语言和交叉语言任务中均优于随机抽样，并能提升大型语言模型在多种任务上的表现和泛化能力。
低资源语言场景下的应用与挑战
针对低资源语言，文章提到跨语言检索增强的提示能稳定提升多语言预训练模型性能，例如在孟加拉语任务上。此外，有研究利用跨语言检索进行事实核查，在 X-Fact 数据集上零样本跨语言设置下 F1 绝对提升 2.23%。这些工作表明，从高资源语言检索语义相似示例是缓解低资源语言数据缺乏的有效途径，但同时也面临语言对齐和检索质量等挑战。
Q&A
XPR方法的主要功能是什么？
XPR方法从无标注例句中提取短语表示，以实现跨语言短语检索。
XPR方法创建了什么样的数据集？
XPR创建了一个包含65K双语短语对和4.2M例句的大规模跨语言短语检索数据集。
XPR在多语言任务中的表现如何？
实验结果表明，XPR在多语言和交叉语言任务中优于传统的词级或句级表示基线。
XPR的零-shot迁移能力是什么？
XPR展现了良好的零-shot迁移能力，能够在训练期间执行未见过的语言对的检索。
如何通过上下文检索提升大型语言模型的性能？
研究探讨了通过上下文检索来提升大型语言模型性能的方法，显示出显著的性能提升和良好的泛化能力。
XPR方法与传统方法相比有什么优势？
XPR在多语言和交叉语言任务中表现优于传统方法，具备良好的零-shot迁移能力。
