RepoQA：评估长上下文的代码理解
内容提要
本文探讨了大型语言模型（LLMs）在长上下文理解中的表现，指出其在多次推理和细节问题上的挑战。研究表明，商业模型在短任务上优于开源模型，但在长依赖任务中仍存在困难。提出了新的评估基准和自动化数据生成流程，验证了模型在阅读理解中的能力，发现开源模型在开放和封闭任务中表现良好。总体而言，LLMs在长文本理解方面仍需改进。
延伸解读
长上下文评估的多样化基准
文章介绍了多个长上下文评估基准，如NovelQA、RULER、L-Eval、LongBench和XL2Bench，每个基准针对不同场景和任务。NovelQA使用英文小说评估深层文本理解，RULER测试多跳追踪和聚合，L-Eval包含长文档和查询，LongBench全面评估模型，XL2Bench涵盖小说、论文和法律阅读。这些基准共同揭示了LLMs在长上下文理解中的挑战，尤其是在极长输入和复杂推理方面。
开源与商业模型的性能对比
研究表明，商业模型在短依赖任务上优于开源模型，但在长依赖任务中两者都面临困难。例如，在L-Eval中，开源模型LLaMA2和ChatGLM2在开放式和封闭式任务上表现良好；在LongBench中，商业模型GPT-3.5-Turbo-16k优于开源模型，但在更长语境下仍存在困难。此外，开源模型如Llama-2和StarCoder在代码库理解上展现出熟练度，表明开源模型在特定任务上具有竞争力。
长上下文理解的技术挑战与改进方向
文章指出，扩展上下文窗口长度的策略对长上下文理解的影响有限，而检索式技术在短问答任务中具有明显好处。上下文压缩技术对长上下文能力较弱的模型带来改进，但性能仍落后于具有强大长上下文理解能力的模型。此外，缩放位置嵌入和微调在长序列上带来了实质性改进。这些发现提示，未来需要结合多种技术来提升LLMs的长上下文理解能力。
自动化评估与数据生成方法
文章提出了自动化数据生成流程，包括问题生成、回答和模型评分，并使用Bradley-Terry模型进行相对排名，提供更一致和区分性更强的评分机制。通过人工策划的NarrativeQA数据集验证，评估器与人类判断达到很好的一致性。ProxyQA框架使用代理问题评估长文本生成能力，验证方法与人工标准相关性高。这些方法有助于高效评估LLMs的长上下文理解能力。
Q&A
LLMs在长上下文理解中面临哪些主要挑战？
LLMs在多次推理、注重细节的问题和处理超过100,000个标记的极长输入方面面临挑战。
商业模型与开源模型在短任务和长任务上的表现有何不同？
商业模型在短依赖任务上优于开源模型，但在长依赖任务中仍存在困难。
什么是RULER评估基准，它的作用是什么？
RULER是一个新的评估基准，用于评估LLMs在长上下文理解中的表现，显示上下文长度增加时任务和性能急剧下降。
开源模型在长文本理解中表现如何？
开源模型在开放式和封闭式任务上表现良好，尤其是在长文本理解方面。
XL2Bench基准测试的内容和目的是什么？
XL2Bench基准测试评估六个大型语言模型在小说、论文和法律阅读等场景中的表现，涵盖多个难度递增的任务。
ProxyQA框架的作用是什么？
ProxyQA框架用于评估长文本生成能力，并通过生成内容的质量评估验证方法的有效性。
