DQ-LoRe: 双查询经过低秩近似重排序进行上下文学习
原文中文，约300字，阅读约需1分钟。发表于：。通过利用双重查询和低秩逼近重排 (DQ-LoRe) 框架自动选择实例来进行上下文学习，我们展示了 DQ-LoRe 明显优于先前最先进方法，在 GPT-4 的实例自动选择中将性能从 92.5% 提升到 94.2%。我们的综合分析进一步揭示了 DQ-LoRe 在性能和适应性方面始终优于基于检索的方法，特别是在分布转移情景下。 DQ-LoRe 推动了上下文学习的界限，为解决复杂的推理挑战开辟了新的途径。
该文介绍了两种改进小型语言模型在挑战性问答任务中表现的方法，一种是使用理由排名模型对生成的合理性进行评分，另一种是通过训练较小的推理模型来利用长文本序列中的相关信息。研究发现，这两种方法都有效，但RATD方法更容易应用并在未见设置中产生最佳结果。
