RAR-b: 推理作为检索的基准
内容提要
该论文研究了多种检索增强语言模型的优缺点，提出了“rethinking with retrieval”（RR）后处理方法，以改善推理性能。通过构建新的通识语料库和检索策略，提出的统一框架（RACo）在多个推理任务中表现优异。此外，研究揭示了大型语言模型在处理冗余信息时的局限性，建议未来训练中应纳入相关数据以提升性能。
延伸解读
检索增强语言模型的多样性
文章分析了REALM、kNN-LM、FiD、ATLAS和Flan-T5等多种检索增强语言模型，指出它们在不同任务的文档推理中各有优缺点。这些模型在推理失误时，检索器模块和语言模型本身都可能成为错误根源。这表明，没有一种模型能完美应对所有场景，实际应用中需根据任务特点选择合适的模型，并关注检索与生成模块的协同问题。
后处理方法提升推理性能
文章提出了一种名为“rethinking with retrieval”（RR）的后处理方法，利用思维链提示中的分解推理步骤来检索外部知识，从而改善大语言模型在常识、时间和表格推理等方面的表现。这种方法不改变模型本身，而是通过外部知识注入来增强推理，为现有模型提供了一种低成本、易实施的性能提升途径。
RACo框架与通识推理
文章构建了一个包含2000万个文档的通识语料库，并提出了统一的检索增强通识推理框架RACo。在四个通识推理任务上，RACo显著优于其他知识增强方法，并在CommonGen和CREAK排行榜上取得新的SoTA性能。这表明，专门为通识推理设计的检索策略和语料库能有效提升模型表现，为未来研究提供了可借鉴的框架。
冗余信息与模型局限性
文章引入了一种新的问答任务RRIP，评估了LlaMA2-13B-chat和GPT-3.5在处理冗余信息时的表现。结果显示，尽管这些模型在标准问答基准上表现良好，但在RRIP任务上性能明显下降。这揭示了当前大语言模型在信息整合和噪音鲁棒性方面的不足，并建议未来训练中纳入冗余信息数据，以提高模型在现实场景中的推理能力。
Q&A
什么是 'rethinking with retrieval' (RR) 方法？
'rethinking with retrieval' (RR) 是一种后处理方法，通过检索相关外部知识来改善大语言模型的推理性能。
RACo框架的主要特点是什么？
RACo框架是一个统一的基于检索增强的通识推理框架，包含2000万个文档的通识语料库，并提出新的检索策略。
大型语言模型在科学文档推理中存在哪些问题？
大型语言模型在科学文档推理任务中会使用编造的证据，且预训练无法减轻这一风险。
较小的语言模型在问答任务中的表现如何？
较小的语言模型在未见问题的挑战性问答任务中表现出强大的推理能力，且两种改进方法均有效。
研究中提到的RRIP任务是什么？
RRIP任务是新形式的问答任务，关注冗余信息的不同属性，评估语言模型在处理冗余信息方面的能力。
未来训练语言模型时应考虑哪些因素？
未来训练语言模型时应纳入冗余信息，以提高在RRIP任务上的性能。
