本研究提出了上下文过滤语言模型（FltLM），解决长上下文大语言模型的“中间信息丢失”和“注意力分散”问题。通过结合上下文过滤器和软掩码机制，FltLM在多文档问答任务中表现优异，显示出在长文本自然语言理解中的潜力。

本文分析了语言模型在多文档问答和键值检索中的性能，发现信息位置对性能影响显著，且随着上下文长度增加，模型性能下降。研究表明，检索增强能提升模型表现，尤其在长上下文任务中。提出了新的基准测试和评估框架，以优化语言模型在长文本任务中的能力。