增强形式定理证明：一个用于训练 Coq 代码 AI 模型的综合数据集
内容提要
本文介绍了定理驱动的问答数据集TheoremQA，评估AI模型在科学问题上的表现。研究发现，GPT-4在Program-of-Thoughts Prompting下的表现优于其他模型，达到51%。文章还探讨了机器学习在定理证明中的应用，特别是Coq系统的自动学习和生成定理的能力，展示了该领域的前景。
延伸解读
TheoremQA 评估结果揭示模型差距
在 TheoremQA 数据集上，GPT-4 结合 Program-of-Thoughts Prompting 达到了 51% 的准确率，而所有开源模型均低于 15%，仅略高于随机猜测。这表明当前开源模型在应用定理解决科学问题方面与顶尖商业模型存在显著差距，也提示 Program-of-Thoughts 提示策略能有效提升模型表现。
Coq 系统自动学习证明依赖的早期探索
2014 年的研究尝试从 Coq 证明中自动学习证明依赖，并测试了该方法在 Coq 证明上的可行性。这属于早期将机器学习应用于交互式定理证明的探索，为后续 CoqGym、ASTactic 等工作奠定了基础，展示了从现有证明中挖掘知识以辅助自动证明的潜力。
HOL 定理证明的机器学习基准与前景
2017 年提出的基于 Higher-Order Logic 证明的新数据集，旨在开发机器学习定理证明策略，并定义了多种机器学习任务。通过逻辑回归、卷积神经网络和循环神经网络等基准模型，研究显示了机器学习应用于 HOL 定理证明的前景，为后续研究提供了任务框架和基线。
从 CoqGym 到 LeanDojo：交互式证明环境的发展
2019 年的 CoqGym 数据集和 ASTactic 模型能够生成策略程序自动证明定理；2023 年的 LeanDojo 则提供了开源可交互的 Lean 证明环境，并开发了带检索功能的 ReProver，仅需单 GPU 训练一周即可有效选择前提。这些工作推动了交互式定理证明的自动化，降低了研究门槛。
Q&A
TheoremQA是什么？
TheoremQA是一个定理驱动的问答数据集，用于评估人工智能模型在科学问题上的表现。
GPT-4在TheoremQA数据集上的表现如何？
在Program-of-Thoughts Prompting的帮助下，GPT-4在TheoremQA数据集上的表现达到了51%。
现有开放源代码模型在TheoremQA上的表现如何？
现有的开放源代码模型在TheoremQA上的表现均低于15%，仅超过随机猜测的基线。
机器学习如何应用于定理证明？
机器学习可以从Coq系统中自动学习证明依赖，并生成定理，展示了在Higher-Order Logic定理证明中的应用前景。
TheoremQA数据集的研究结果有什么重要发现？
研究发现，GPT-4在定理解决能力上显著优于其他模型，显示出其在科学问题上的潜力。
如何评估AI模型在科学问题上的表现？
通过使用TheoremQA数据集，可以评估AI模型在解决科学问题上的能力。
