长代码竞技场：长上下文代码模型的一组基准
内容提要
本文评估了多个大型语言模型在长上下文理解能力上的表现，发现商业模型GPT-3.5-Turbo-16k优于开源模型，但在处理超长上下文时仍存在局限。研究提出了Ada-LEval和XL2Bench等基准测试，评估模型在长文本理解和推理能力上的表现，结果显示现有模型的性能明显低于人类水平，并提出了改进方法。
延伸解读
长上下文评估的多样性
文章汇总了多个长上下文基准测试，如LongBench、Ada-LEval、LRA、Marathon、XL2Bench、BABILong、MileBench和CLongEval，覆盖了从纯文本到多模态、从理解到推理的不同维度。这些基准的提出反映了长上下文评估正朝着更全面、更贴近实际应用的方向发展，但同时也意味着模型在不同任务上的表现可能存在较大差异，读者需注意评估结果的适用范围。
模型性能与人类水平的差距
根据XL2Bench的评估，六个领先的大型语言模型在长文本理解任务上的表现明显落后于人类水平。BABILong的结果进一步显示，流行模型仅能有效利用上下文的10-20%，在复杂推理任务中性能急剧下降。这表明尽管模型在长上下文处理上有所进步，但距离人类的理解和推理能力仍有显著差距，实际应用中需谨慎对待模型的长上下文能力。
优化方法的有效性与局限
文章提到，缩放位置嵌入和微调能在长语境理解上带来实质性改进，检索增强生成（RAG）方法在回答单个事实问题时能达到最高60%的准确率，且与上下文长度无关。循环记忆变压器甚至能处理长达1100万个标记的上下文。然而，这些方法并非万能，对于长上下文能力较弱的模型，检索等压缩技术虽能提升性能，但仍落后于本身具有强长上下文理解能力的模型。
多模态长上下文的挑战
MileBench基准专门评估多模态大型语言模型在长上下文和多图像任务中的适应能力，结果发现开源MLLMs在长上下文情境中面临挑战，尤其在涉及多图像的情景下。这表明长上下文处理不仅限于文本，多模态场景下的长上下文理解更为复杂，现有开源模型在此方面的能力仍有待提升。
Q&A
GPT-3.5-Turbo-16k在长上下文理解能力上表现如何？
GPT-3.5-Turbo-16k优于其他开源模型，但在长语境下仍存在困难。
Ada-LEval基准测试的目的是什么？
Ada-LEval旨在评估大型语言模型在超长上下文中的理解能力，包含两个子集TSort和BestAnswer。
BABILong基准测试的评估结果如何？
BABILong基准测试显示流行语言模型仅有效利用上下文的10-20%，在复杂推理任务中性能急剧下降。
XL2Bench基准测试包含哪些任务？
XL2Bench包含小说阅读、论文阅读和法律阅读等场景，以及记忆检索、细节理解、整体理解和开放式生成等四个难度递增的任务。
MileBench基准测试的主要发现是什么？
MileBench评估发现开源多模态大型语言模型在长上下文和多图像任务中面临挑战。
长上下文模型的改进方法有哪些？
研究提出了检索等上下文压缩技术和循环记忆变压器等方法，以改善长上下文模型的性能。
