AI慢思考蒸馏进快思考，Llama2升至GPT4水平，不写过程也能做对题
内容提要
研究人员通过将AI的“慢思考”结果蒸馏进“快思考”，使Llama2的表现提升了257%，超过了GPT4，同时降低了推理成本。他们使用了四种不同的系统2方法进行微调，发现这种模式使系统1模型的表现大幅提升，甚至超过了真正的系统2模型。这种蒸馏方法在实时交互和移动设备部署等场景下具有优势。
延伸解读
蒸馏的本质：行为模仿而非推理迁移
文章指出，这种蒸馏与传统的知识蒸馏不同，因为系统1和系统2使用同一个基础模型。系统1模型学习的是系统2的输出行为，而非中间推理过程。这意味着模型并未真正获得复杂推理能力，只是模仿了系统2的最终答案。因此，在需要多步推理的任务上，这种方法的泛化能力可能有限。
方法差异显著：CoT在数学推理上失效
四种系统2方法中，CoT的蒸馏效果最差。在GSM8K数学推理任务上，蒸馏后的模型准确率仅7.13%（k=1），甚至低于未蒸馏版本。而BSM、S2A和RaR均取得显著提升。这表明并非所有慢思考过程都能有效蒸馏，CoT的逐步推理能力难以迁移到快思考模型中。
效率优势：Token大幅减少，适合实时场景
蒸馏后的系统1模型在保持高性能的同时，生成Token数量远低于系统2。例如S2A方法中，Token从147个减少到56个；BSM方法中Token数量几乎可忽略。这种效率提升使模型更适合实时交互和移动设备部署，因为系统2的慢速和长输出在这些场景下延迟过高。
评估局限：任务特定，需明确适用场合
研究在不同任务上测试了四种方法，但结果差异较大。BSM在评判任务上表现优异，S2A解决偏见问题，RaR擅长推理任务，而CoT在数学推理上失败。作者指出，未来需进一步明确这种蒸馏的应用场合，找到更类似人类学习的方式，而非盲目套用。
Q&A
Llama2是如何提升到超过GPT-4的水平的？
Llama2通过将AI的慢思考结果蒸馏进快思考，表现提升了257%，超过了GPT-4。
什么是AI的慢思考和快思考？
慢思考对应系统2，涉及复杂推理；快思考对应系统1，指快速直觉反应。
研究人员使用了哪些系统2方法进行微调？
研究人员使用了CoT、S2A、RaR和BSM四种系统2方法进行微调。
为什么不直接使用系统2模型进行推理？
因为系统2速度慢，适合复杂推理，而系统1能快速生成输出，适合实时交互。
蒸馏过程中如何确保数据的高质量？
通过一致性和鲁棒性筛选，确保蒸馏数据的可靠性。
CoT方法在数学推理任务上的表现如何？
CoT方法在数学推理任务上效果不佳，蒸馏后的模型准确率很低。
