美团技术团队
·
美团 LongCat 开源 General 365：树立推理评测新标尺
内容提要
大模型在逻辑推理方面存在短板，尽管在专业知识测试中表现良好，但在日常场景的通用推理中准确率较低。美团LongCat团队发布的General 365基准测试揭示了当前模型的真实能力，强调推理能力与专业知识的解耦。测试结果显示，主流模型普遍未能达到及格线，反映出其在复杂逻辑任务中的不足。
关键要点
-
大模型在逻辑推理方面存在短板，尽管在专业知识测试中表现良好，但在日常场景的通用推理中准确率较低。
-
美团LongCat团队发布的General 365基准测试揭示了当前模型的真实能力，强调推理能力与专业知识的解耦。
-
测试结果显示，主流模型普遍未能达到及格线，Gemini 3 Pro的准确率仅为62.8%。
-
General 365的设计目标是评估模型在日常场景下的通用推理水平，包含八个维度的核心挑战。
-
题目质量是评测基准可靠性的根基，General 365的种子题目经过严格的人工审核和多样性扩充，最终形成1460道高质量题目。
-
模型在“语义干扰”和“最优策略”上的得分普遍低于整体准确率，暴露出其在多步全局规划能力上的不足。
-
General 365将推理评测从专业知识依赖中剥离，直观展示了大模型在真实世界通用推理任务上的短板。
延伸问答
General 365基准测试的主要目的是什么？
General 365的主要目的是评估模型在日常场景下的通用推理水平，强调推理能力与专业知识的解耦。
当前主流大模型在General 365测试中的表现如何？
主流大模型在General 365测试中的表现普遍较差，Gemini 3 Pro的准确率仅为62.8%，大多数模型未能达到及格线。
General 365包含哪些核心挑战？
General 365将推理任务拆解为八个维度的核心挑战，包括复杂约束、概率与不确定性等。
为什么大模型在逻辑推理方面存在短板？
大模型虽然在专业知识测试中表现良好，但在日常场景的通用推理中准确率较低，常常无法处理简单的逻辑题。
General 365的题目质量如何保证？
General 365的题目经过严格的人工审核和多样性扩充，最终形成1460道高质量题目，确保评测基准的可靠性。
General 365如何影响大模型的推理能力发展？
General 365通过剥离专业知识依赖，直观展示大模型在真实世界通用推理任务上的短板，推动模型向更高的智能水平发展。
