RAR-b: 推理作为检索的基准

该论文研究了多种检索增强语言模型的优缺点，包括 REALM、kNN-LM、FiD、ATLAS 和 Flan-T5。

提出了一种名为 'rethinking with retrieval' (RR) 的后处理方法，通过检索相关外部知识改善大语言模型的推理性能。

构建了一个包含 2000 万个文档的通识语料库，并提出了统一的基于检索增强的通识推理框架（RACo），在多个推理任务中表现优异。

研究发现大型语言模型在科学文档推理任务中会使用编造的证据，且预训练无法减轻这一风险。

较小的语言模型在未见问题的挑战性问答任务中表现出强大的推理能力，且两种改进方法均有效。

大型语言模型在噪音鲁棒性和信息整合方面存在挑战，表明 RAG 的有效应用仍需改进。

信息检索迭代修订思维链显著提高了大型语言模型的推理和生成能力。

研究揭示了特定类型文档对检索辅助生成系统的重要性，并强调开发专门策略的必要性。

引入了新形式的问答任务 RRIP，评估了 LlaMA2-13B-chat 和 GPT-3.5 在处理冗余信息方面的局限性，建议未来训练中应纳入冗余信息。