本文综述长上下文大语言模型研究。LongBench评估显示商业模型领先，但长文本处理仍具挑战。LLaMA2经持续预训练将上下文扩展至32K令牌，70B变体超越GPT-3.5-16k。检索增强方法性能可媲美长窗口且速度更快。LooGLE、M4LE等基准揭示长依赖建模困难。EVALM、密集检索器、局部对比估计等方法可提升性能。