美团技术团队
·
美团 LongCat 开源 General 365：树立推理评测新标尺
内容提要
大模型在逻辑推理方面存在短板，尽管在专业知识测试中表现良好，但在日常场景的通用推理中准确率较低。美团LongCat团队发布的General 365基准测试揭示了当前模型的真实能力，强调推理能力与专业知识的解耦。测试结果显示，主流模型普遍未能达到及格线，反映出其在复杂逻辑任务中的不足。
关键要点
-
大模型在逻辑推理方面存在短板，尽管在专业知识测试中表现良好，但在日常场景的通用推理中准确率较低。
-
美团LongCat团队发布的General 365基准测试揭示了当前模型的真实能力，强调推理能力与专业知识的解耦。
-
测试结果显示，主流模型普遍未能达到及格线，Gemini 3 Pro的准确率仅为62.8%。
-
General 365的设计目标是评估模型在日常场景下的通用推理水平，包含八个维度的核心挑战。
-
题目质量是评测基准可靠性的根基，General 365的种子题目经过严格的人工审核和多样性扩充，最终形成1460道高质量题目。
-
模型在“语义干扰”和“最优策略”上的得分普遍低于整体准确率，暴露出其在多步全局规划能力上的不足。
-
General 365将推理评测从专业知识依赖中剥离，直观展示了大模型在真实世界通用推理任务上的短板。
延伸解读
推理能力与专业知识的解耦
General 365基准测试强调推理能力与专业知识的分离，这一设计理念有助于更准确地评估模型在日常场景中的表现。传统的评测往往依赖于专业知识，而General 365则聚焦于通用推理，揭示了模型在复杂逻辑任务中的真实能力边界。
模型表现的多样性
测试结果显示，尽管主流模型普遍未能达到及格线，但个别模型如Qwen 3 Max Instruct展现出较强的推理能力。这表明在大模型的开发中，仍有潜力可挖掘，开发者应关注不同模型在特定任务上的表现差异，以优化应用场景。
题目质量的重要性
General 365的题目经过严格审核和多样性扩充，确保了评测的可靠性。题目质量直接影响评测结果，因此在设计基准测试时，开发者应重视题目的多样性和复杂性，以更好地反映模型的推理能力。
延伸问答
General 365基准测试的主要目的是什么？
General 365的主要目的是评估模型在日常场景下的通用推理水平，强调推理能力与专业知识的解耦。
当前主流大模型在General 365测试中的表现如何？
主流大模型在General 365测试中的表现普遍较差，Gemini 3 Pro的准确率仅为62.8%，大多数模型未能达到及格线。
General 365包含哪些核心挑战？
General 365将推理任务拆解为八个维度的核心挑战，包括复杂约束、概率与不确定性等。
为什么大模型在逻辑推理方面存在短板？
大模型虽然在专业知识测试中表现良好，但在日常场景的通用推理中准确率较低，常常无法处理简单的逻辑题。
General 365的题目质量如何保证？
General 365的题目经过严格的人工审核和多样性扩充，最终形成1460道高质量题目，确保评测基准的可靠性。
General 365如何影响大模型的推理能力发展？
General 365通过剥离专业知识依赖，直观展示大模型在真实世界通用推理任务上的短板，推动模型向更高的智能水平发展。
