边写边推理：更好的长上下文检索推理模式
原文中文，约400字，阅读约需1分钟。发表于：。本文提出了一种新的推理模式“边写边推理”（WiM），旨在优化大型语言模型对长输入序列在检索任务中的处理能力。WiM通过分段推理提升了模型在推理能力和聚合任务上的表现，尤其在推理技能上提升了7.5%的准确率，并在聚合任务中F1分数提高了超过30%。
研究发现，使用简单的检索增强可以在生成时实现与微调后的大型语言模型相当的性能，计算量较小。检索还可以显著提高大型语言模型的性能，不受扩展上下文窗口大小的限制。最佳模型LLaMA2-70B在长上下文任务中表现优于其他模型。研究为选择检索增强与扩展大型语言模型提供了见解。
