检索还是整体理解？Dolce：区分我们的长上下文评估任务
内容提要
本文分析了语言模型在多文档问答和键值检索中的性能，发现信息位置对性能影响显著，且随着上下文长度增加，模型性能下降。研究表明，检索增强能提升模型表现，尤其在长上下文任务中。提出了新的基准测试和评估框架，以优化语言模型在长文本任务中的能力。
延伸解读
信息位置与上下文长度的影响
文章指出，语言模型在多文档问答和键值检索任务中，当相关信息位于输入上下文的开头或结尾时性能最高，而在长上下文中访问相关信息时性能显著下降。随着输入上下文增长，性能会降低，即使专门用于长上下文的模型也不例外。这表明模型对信息位置的敏感度是长上下文任务的一个关键挑战。
检索增强的实用价值
研究表明，简单的检索增强可以在长上下文任务中达到与经过微调、具有16K上下文窗口的模型相当的性能，且计算量更小。检索增强的LLaMA2-70B模型在多个长上下文任务中表现优于GPT-3.5-turbo-16k和Davinci003，并在生成速度上优于非检索基线。这为从业者在选择检索增强与扩展上下文窗口时提供了参考。
长上下文评估的复杂性
文章提出了新的基准测试Loong，通过扩展的多文档问答来评估模型的长上下文建模能力。同时，研究还发现，与主题更相关的上下文并不总是比不相关的上下文更有帮助，尤其在开放问题和高难度问题中。这揭示了模型处理封闭式和开放式问题的根本区别，并提示在检索增强生成系统中选择最佳上下文可能高度依赖具体应用。
Q&A
语言模型在长上下文任务中的性能受什么影响？
语言模型在长上下文任务中的性能受信息位置的显著影响，输入上下文越长，性能越差。
检索增强如何改善语言模型的表现？
简单的检索增强可以在长上下文任务中实现与微调模型相当的性能，且计算量较小。
LLaMA2-70B模型在长上下文任务中的表现如何？
检索增强的LLaMA2-70B模型在多个长上下文任务中表现优于其他模型，并在生成速度上也有优势。
新的长上下文基准测试Loong的目的是什么？
Loong基准测试旨在评估模型的长上下文建模能力，并通过多文档问题回答实现与现实场景的对齐。
在长文本任务中，相关上下文的有效性如何？
与主题相关的上下文并不总是更有帮助，尤其在开放问题中，这一现象在高难度问题中尤为明显。
如何评估大型语言模型在长文本情境下的能力？
可以通过逐渐增加难度的任务框架来评估大型语言模型在长文本情境下的能力，显示出改进空间。
