本文介绍了一系列支持高达32,768个令牌的长上下文语言模型（LLMs），通过持续预训练，这些模型在长文本任务上相较于Llama 2取得显著提升。研究表明，适当的数据混合和持续预训练策略能有效扩展上下文长度至128K，并在长上下文理解方面表现优异。实验结果显示，商业模型在短依赖任务上优于开源模型，但在长依赖任务上仍面临挑战。

本文介绍了多个长上下文基准测试的研究，如Loong、LongBench和XL2Bench，评估大型语言模型在长上下文理解中的表现。研究发现，商业模型在短任务上优于开源模型，但在长依赖任务中仍面临挑战。新基准的引入揭示了现有模型在处理长上下文时的不足，并提出了改进方法。

研究表明，商业模型在短依赖任务上优于开源模型，但在长依赖任务中存在困难。引入检索增强技术后，长文本上下文的理解得到了改善。新方法In-Context RALM有效整合外部信息，提升了语言模型的性能。BABILong基准测试显示，现有模型在处理长上下文时效率低下，且在复杂推理任务中表现不佳。LIConBench评估发现，大多数模型在超过20K令牌时性能下降，揭示了当前模型在长上下文理解上的挑战。