MMLongBench-Doc: 用视觉化评估长上下文文档理解技术的基准测试
内容提要
本文介绍了多个长上下文基准测试的研究，如Loong、LongBench和XL2Bench，评估大型语言模型在长上下文理解中的表现。研究发现，商业模型在短任务上优于开源模型，但在长依赖任务中仍面临挑战。新基准的引入揭示了现有模型在处理长上下文时的不足，并提出了改进方法。
延伸解读
长上下文评估的多样化趋势
文章汇总了多个长上下文基准测试，如Loong、LongBench、XL2Bench等，覆盖了多文档问答、多模态、视频理解等不同场景。这些基准从纯文本扩展到多模态，从短依赖到长依赖任务，反映了评估体系正朝着更全面、更贴近现实的方向发展。
商业模型与开源模型的差距
多项基准测试显示，商业模型在短任务上优于开源模型，但在长依赖任务中仍面临挑战。例如，LongBench评估发现GPT-3.5-Turbo-16k在短任务上领先，但在更长语境下表现下降；LIConBench中，超过20K上下文后，除GPT-4外大部分模型性能明显下降。
长上下文理解的瓶颈与改进方向
研究指出，扩展上下文窗口长度对长上下文理解的影响有限，而检索等上下文压缩技术对能力较弱的模型有帮助，但仍落后于强模型。此外，数据污染问题受到关注，XL2Bench通过增强数据集验证了缓解方法的有效性。
多模态长上下文评估的挑战
MileBench和MMBench-Video等基准将评估扩展到多模态领域，发现开源多模态模型在长上下文和多图像任务中面临挑战。ConTextual基准显示，最佳LMM与人类在上下文敏感的文本丰富视觉推理上存在30.8%的性能差距，表明多模态长上下文理解仍有较大提升空间。
Q&A
Loong基准测试的主要目的是什么？
Loong基准测试旨在评估模型的长上下文建模能力，通过扩展的多文档问题回答实现与现实场景的对齐。
商业模型和开源模型在长上下文理解中有什么区别？
研究发现商业模型在短任务上优于开源模型，但在长依赖任务中仍面临挑战。
XL2Bench基准测试评估了哪些方面的表现？
XL2Bench评估了六个大型语言模型在长文本理解中的表现，涵盖小说、论文和法律阅读等场景。
LIConBench基准测试的重点是什么？
LIConBench专注于长上下文学习，评估长上下文大语言模型在超过20K令牌长度下的表现。
MuLD基准测试的设计目的是什么？
MuLD是一个新型长文档基准，旨在测试自然语言处理任务在长文档上的性能。
LV-Eval基准测试解决了哪些主流基准测试的不足？
LV-Eval通过混淆事实插入、关键词替换等技术，评估单跳和多跳问答，解决了主流基准测试中的不足。
