相关信息片段间的距离造成长文档大语言模型的偏差

本研究解决了大型语言模型（LLMs）在处理长输入时的定位偏差问题，尤其是相关信息在输入中位置不当导致的“中间失落”现象。通过提出LongPiBench基准，研究发现在大多数现有模型中，尽管对“中间失落”现象表现出鲁棒性，但相关信息片段间的空间分布仍存在显著偏差。这一发现强调了评估和减少定位偏差的重要性，从而推动LLMs的能力进步。