本文综述长上下文大语言模型研究。LongBench评估显示商业模型优于开源模型,但长语境处理仍具挑战。扩展位置嵌入和微调可提升长上下文理解,检索压缩对弱模型有益。LongLoRA等方法以低计算成本扩展上下文,LongForm指令微调增强泛化能力,L-Eval和LooGLE提供标准化评估。
完成下面两步后,将自动完成登录并继续当前操作。