哇塞!只需三步,带你飞速蒸馏DeepSeek R1!
我们关注到在其技术报告中重点提到DeepSeek-R1的数据蒸馏方案——通过对DeepSeek-R1数据蒸馏,将蒸馏后的数据和小尺寸模型进行精调训练,实验结果显示,通过DeepSeek-R1模型,蒸馏了6个小模型开源给社区,32B和70B模型在多项任务上表现与OpenAI...
深度求索于1月开源了DeepSeek-R1模型,提出数据蒸馏方案,通过小模型精调训练,效果与OpenAI o1-mini相当。飞桨框架3.0优化推理能力,支持高效部署,显著提升模型性能并降低成本。