量子位
·
1万tokens是检验长文本的新基准，超过后18款大模型集体失智
💡
原文中文，约3600字，阅读约需9分钟。
📝
内容提要
研究发现，长文本输入（超过1万tokens）会显著降低大型语言模型（LLM）的性能，准确率从90%降至50%。不同模型在处理长文本时表现差异，输入内容的语义特征和结构也会影响性能衰减。实验揭示了模型在长上下文任务中的局限性，建议优化指令和保存上下文以提升性能。
🎯
关键要点
- 长文本输入超过1万tokens会显著降低大型语言模型的性能，准确率从90%降至50%。
- 不同模型在处理长文本时表现差异，性能下降的节点不同。
- 研究表明，输入长度对模型性能的影响并非均匀，某些tokens长度上准确率骤降。
- 实验设计了四项对照实验，验证了输入长度、语义相似度和干扰信息对模型性能的影响。
- 输入长度是性能衰减的核心变量，语义关联性和干扰信息会加剧衰减。
- 模型对干扰项的响应存在差异，Claude系列倾向于弃权，GPT系列更易受干扰影响。
- 干草堆的结构模式对模型性能也有显著影响，连贯结构下性能下降更明显。
- 尽管大型语言模型的上下文窗口不断增长，但其性能并非均匀一致。
- 建议优化指令和保存上下文以提升模型在长文本任务中的性能。
❓
延伸问答
长文本输入超过1万tokens会对大型语言模型造成什么影响？
长文本输入超过1万tokens会显著降低大型语言模型的性能，准确率从90%降至50%。
不同大型语言模型在处理长文本时表现有何差异？
不同模型在处理长文本时表现差异，性能下降的节点不同，例如Claude在1000tokens后准确率下滑，而GPT-4.1可能在第10页就失智。
输入长度对模型性能的影响机制是什么？
输入长度是性能衰减的核心变量，语义关联性和干扰信息会加剧性能下降，且不同模型对这些因素的敏感程度存在差异。
如何优化大型语言模型在长文本任务中的表现？
建议给出明确、清晰的指令，并在收集到足够的信息后保存上下文，以提升模型在长文本任务中的性能。
实验中如何验证输入长度对模型性能的影响？
实验设计了四项对照实验，验证了输入长度、语义相似度和干扰信息对模型性能的影响。
长文本输入的结构模式对模型性能有何影响？
干草堆的结构模式对模型性能有显著影响，连贯结构下性能下降更明显，而打乱结构下性能下降较缓和。
➡️
