量子位
·
打脸！GPT-4o输出长度8k都勉强，陈丹琦团队新基准测试：所有模型输出都低于标称长度
💡
原文中文，约3200字，阅读约需8分钟。
📝
内容提要
陈丹琦团队的LONGPROC基准测试显示，尽管许多大模型声称支持32K tokens，但在生成复杂长文时表现不佳。实验发现，GPT-4o等模型在8K tokens任务中的性能显著下降，尤其在需要长推理的旅行规划任务中仍有改进空间。
🎯
关键要点
- 陈丹琦团队的LONGPROC基准测试显示，许多大模型在生成复杂长文时表现不佳。
- 尽管模型声称支持32K tokens，但在实际任务中表现低于预期。
- GPT-4o等模型在8K tokens任务中的性能显著下降，尤其在长推理的旅行规划任务中。
- LONGPROC基准测试专注于检测模型处理长上下文和生成回复的能力。
- LONGPROC包含6个不同的生成任务，包括HTML到TSV、伪代码生成、路径遍历等。
- 实验结果显示，所有参与模型在长程序生成任务中表现出显著的性能下降。
- 开源模型整体表现不及闭源模型，尤其在复杂推理任务中表现更差。
- 与人类能力相比，当前模型在解决复杂任务时仍存在显著差距。
- LONGPROC测试基准有效评估模型在长程序生成任务方面的表现，未来研究方向值得关注。
❓
延伸问答
LONGPROC基准测试的主要目的是什么？
LONGPROC基准测试旨在检测长上下文模型处理复杂信息并生成回复的能力。
GPT-4o在8K tokens任务中的表现如何？
GPT-4o在8K tokens任务中的性能显著下降，尤其在复杂推理的旅行规划任务中表现不佳。
LONGPROC基准测试包含哪些任务？
LONGPROC基准测试包含HTML到TSV、伪代码生成、路径遍历、Theory-of-Mind跟踪、Countdown游戏和旅行规划等6个任务。
开源模型与闭源模型在LONGPROC测试中的表现有何不同？
开源模型整体表现不及闭源模型，尤其在复杂推理任务中表现更差。
LONGPROC测试如何评估模型的输出能力？
LONGPROC测试通过要求模型生成大于1K tokens的复杂输出，并提供确定性的解决方案来评估其能力。
当前模型在解决复杂任务时与人类相比有什么差距？
当前模型在解决复杂任务时与人类相比存在显著差距，例如在Countdown游戏和旅行规划任务中，模型的解决问题数量远低于人类。
➡️
