内容提要
DeepSeek发布了新模型DeepSeek-R1，具备强大的数学、代码和推理能力，全面对标OpenAI的o1。该模型通过多阶段强化学习训练，显著提升推理能力，并开源660B参数的模型权重。DeepSeek-R1的API定价具性价比，在多个基准测试中表现优异，超越许多现有模型。
关键要点
-
DeepSeek发布了新模型DeepSeek-R1，具备强大的数学、代码和推理能力。
-
DeepSeek-R1通过多阶段强化学习训练，显著提升推理能力，并开源660B参数的模型权重。
-
DeepSeek-R1的API定价具性价比，表现超越许多现有模型。
-
DeepSeek-R1-Zero采用群组相对策略优化（GRPO）来降低训练成本。
-
DeepSeek-R1-Zero的奖励设计包括准确度和格式两种互补机制。
-
DeepSeek-R1-Zero在AIME数学奥赛试卷中的表现显著提升，达到了与OpenAI-o1-0912相当的水平。
-
DeepSeek-R1的冷启动数据提高了模型的可读性和性能。
-
推理导向的强化学习训练增强了模型在编码、数学、科学和逻辑推理等任务中的能力。
-
开发团队通过拒绝采样和监督微调收集了约60万个推理相关的训练样本。
-
蒸馏技术使得小模型具备DeepSeek-R1的推理能力，显著增强了小模型的性能。
延伸问答
DeepSeek-R1模型的主要特点是什么？
DeepSeek-R1具备强大的数学、代码和推理能力，通过多阶段强化学习训练显著提升推理能力，并开源660B参数的模型权重。
DeepSeek-R1的API定价如何？
DeepSeek-R1的API定价为每百万输入tokens 1元（缓存命中）/ 4元（缓存未命中），每百万输出tokens 16元，性价比高。
DeepSeek-R1-Zero与OpenAI-o1-0912的表现如何比较？
DeepSeek-R1-Zero在AIME数学奥赛试卷中的表现显著提升，达到了与OpenAI-o1-0912相当的水平，成功率甚至超过了后者。
DeepSeek-R1的训练过程中使用了哪些技术？
DeepSeek-R1的训练过程中使用了多阶段强化学习、群组相对策略优化（GRPO）、奖励设计和蒸馏技术等。
DeepSeek-R1-Zero的奖励机制是怎样设计的？
DeepSeek-R1-Zero的奖励机制包括准确度和格式两种互补机制，旨在提升模型的输出质量和规范性。
DeepSeek-R1的冷启动数据有什么优势？
DeepSeek-R1的冷启动数据提高了模型的可读性和性能，相比于DeepSeek-R1-Zero，表现更佳。
