本文综述长上下文大语言模型研究，重点包括：通过持续预训练将上下文窗口扩展至32K乃至128K，并结合数据混合与长度上采样；评估显示模型在长上下文任务上显著优于Llama 2，70B变体超越gpt-3.5-turbo-16k；探讨位置编码外推、LongLoRA高效微调、LongAgent多智能体协作及Parallel Context Windows等方法；验证长上下文持续预训练比从头训练更高效。