长上下文语言模型对长上下文学习困难

通过引入 LongBench，对 8 个大型语言模型进行全面评估，发现商业模型（GPT-3.5-Turbo-16k）在短任务上表现优于开源模型，但在长语境理解上仍存在困难。

在长序列上进行的缩放位置嵌入和微调带来了长语境理解的实质性改进，但性能仍落后于具有强大长上下文理解能力的模型。

研究提出了第一个超过 100K 标记平均数据长度的大语言模型基准测试，评估了现有模型在处理长上下文的能力。

本文调查了扩展序列长度的技术和方法，讨论了当前方法的局限性和未来研究方向，强调了序列长度对大型语言模型发展的重要性。

研究分析了长距离上下文对模型预测能力的影响，发现长范围上下文对文学小说的帮助最大，但对句子级别的预测任务没有显著帮助。

提出了针对大型语言模型的多能力、多范围、多任务的长上下文评估基准（M4LE），揭示了当前模型在理解长上下文方面的困难，尤其是在需要多个跨度注意力的任务上。