DeepSeek-Prover: 通过大规模合成数据推进 LLMs 中的定理证明
内容提要
本文介绍了多种基于大型语言模型（LLM）和深度学习的定理证明方法，如DS-Prover、ReProver和MathGenie。这些方法通过优化数据集和训练策略，显著提高了定理证明的效率和准确性，尤其在数学推理任务中表现突出。此外，研究还探讨了自动化证明过程的框架和形式验证工具的开发，推动了该领域的进一步发展。
延伸解读
动态抽样与检索增强：提升定理证明效率的两条路径
DS-Prover 通过动态调整探索与开发的平衡，根据剩余时间优化证明搜索，并在 MiniF2F 和 ProofNet 上取得显著提升。ReProver 则首次在基于 LLM 的证明程序中加入检索功能，能有效选择前提，且训练成本低廉，仅需一台 GPU 训练一周。两者分别从搜索策略和前提选择入手，共同推动了定理证明的自动化效率。
数据合成与模型训练：MathGenie 的规模化数学推理
MathGenie 从小规模种子数据生成多样且可靠的数学问题，通过回译模型和理性基础验证策略，训练出 7B 到 70B 的 MathGenieLM 系列模型。这些模型在五个数学推理数据集上均优于之前的开源模型，其中 MathGenieLM-InternLM2 在 GSM8K 上达到 87.7% 的准确率，在 MATH 上达到 55.7%，展示了合成数据在提升数学推理能力上的潜力。
形式验证与人类辅助：Lean Copilot 和 Verus 的实践
Lean Copilot 利用大型语言模型辅助定理证明，提供证明步骤建议、自动完成中间目标和选择相关前提，实验证明其比基于规则的方法更有效。Verus 是基于 Rust 的形式验证框架，通过将验证任务分解并迭代查询 GPT-4，结合轻量级静态分析，显著减少了编写入门级证明代码的人力。两者都致力于降低形式验证的门槛，提升自动化程度。
DeepSeek LLM 的扩展与性能表现
DeepSeek LLM 项目研究了扩展定律，构建了包含 2 万亿标记的数据集，并开发了 7B 和 67B 模型。评估显示，DeepSeek LLM 67B 在多种基准测试中超过 LLaMA-2 70B，尤其在代码、数学和推理领域表现突出。其聊天版本 DeepSeek LLM 67B Chat 在开放式评估中优于 GPT-3.5，展示了大规模模型在推理任务上的竞争力。
Q&A
DS-Prover 是什么，它如何提高定理证明的效率？
DS-Prover 是一种动态抽样方法，通过调整探索和开发的平衡，提高定理证明的效率。
ReProver 的主要特点是什么？
ReProver 是第一个增加检索功能的基于 LLM 的证明程序，能够有效选择定理中的前提。
MathGenie 如何提高数学推理能力？
MathGenie 通过生成多样的数学问题，训练模型以提高数学推理能力，尤其在多个数据集上表现优异。
Lean Copilot 框架的作用是什么？
Lean Copilot 框架利用大型语言模型辅助定理证明过程，提升了自动化程度和人类辅助的有效性。
Verus 框架的创新之处在哪里？
Verus 是一个基于 Rust 的形式验证框架，通过将验证任务分解，显著减少了编写证明代码的人力工作。
DeepSeek LLM 在基准测试中的表现如何？
DeepSeek LLM 在多种基准测试中表现优于其他大型模型，尤其在代码、数学和推理领域。
