RAVEN：在上下文中学习的检索增强的编码 - 解码语言模型
原文中文，约300字，阅读约需1分钟。发表于：。我们研究了检索增强的编码 - 解码语言模型的场景学习能力，提出了 RAVEN 模型以解决现有模型在场景学习方面的限制，并引入了融合上下文学习方法来增强少样本学习性能，实验证明 RAVEN 在某些场景下显著优于 ATLAS 模型，并且拥有较少的参数。
通过实证分析发现，预训练的多语言编码器在无监督文档级和句子级交叉语言信息检索方面性能不如基于跨语言单词嵌入的模型。经过监督学习优化后，在句子检索中取得最高准确率，并通过局部相关性匹配和对特定领域对比微调等方法提升排名质量。同时发现基于单语数据训练的检索模型会出现“单语过度拟合”现象，与交叉语言转移的单语信息检索存在显著差异。
