PutnamBench: 在 Putnam 数学竞赛上评估神经定理证明器
内容提要
本文介绍了多个数学和形式验证的基准测试，如ProofNet、miniF2F和DafnyBench，旨在推动自动形式化和定理证明的研究。这些基准测试涵盖数学推理、自然语言处理和神经网络验证等领域，评估不同模型的性能和适应性，强调了改进的必要性和未来研究的潜力。
延伸解读
基准的多样性与侧重点
文中列举的基准覆盖了不同领域：ProofNet和miniF2F聚焦数学定理证明，OlympiadBench评估多模态科学推理，DafnyBench测试形式软件验证，NeuroCodeBench针对神经网络验证，psybench则评估心理学知识。这些基准在问题类型、规模和评估目标上各有侧重，反映了自动形式化与定理证明研究的多维度需求。
模型表现的现实差距
文章提到，最佳模型在OlympiadBench上平均得分仅17.23%，物理部分低至11.28%；DafnyBench上最佳模型成功率68%；psybench中仅ChatGPT平均准确率超过70%。这些数据表明，尽管模型在特定任务上取得进展，但在复杂推理和形式验证方面仍有明显不足，且存在幻觉、知识遗漏等问题。
评估方法的演进与挑战
从ProofNet的自动形式化基线到DafnyBench利用错误信息反馈重试，评估方法不断细化。文章还指出psybench中知识不均衡可能导致结果偏斜，提示基准设计需考虑数据分布。这些进展与挑战共同推动着更鲁棒、更全面的评估体系发展。
Q&A
ProofNet 是什么？
ProofNet 是一个包含 371 个例子的数学自动形式化和形式证明基准，旨在推动自动定理证明的进步。
miniF2F 数据集的用途是什么？
miniF2F 是一个 Olympiad 级别的数学问题数据集，用于在神经定理证明中提供统一的跨系统基准。
OlympiadBench 的特点是什么？
OlympiadBench 包含 8,952 个双语多模态科学问题，评估模型的响应能力，并提供专家级的逐步推理注释。
DafnyBench 如何评估形式软件验证？
DafnyBench 用于训练和评估形式软件验证，测试 LLM 在形式验证中的成功率，最佳模型的成功率达到 68%。
NeuroCodeBench 主要研究什么？
NeuroCodeBench 是一个用于神经网络代码验证的基准测试集，主要研究安全关键系统中的神经网络和验证。
psybench 的主要贡献是什么？
psybench 是一个全面的中文评估套件，评估模型在心理学领域的表现，发现不同领域的性能差异显著。
