深度求索于1月开源了DeepSeek-R1模型，提出数据蒸馏方案，通过小模型精调训练，效果与OpenAI o1-mini相当。飞桨框架3.0优化推理能力，支持高效部署，显著提升模型性能并降低成本。

上交大EPIC实验室提出的新数据蒸馏方法NFCM，使用2080Ti显卡仅需2GB内存，显著提升性能和速度。该方法将数据蒸馏转化为minmax优化问题，优化合成数据质量，适用于多个基准数据集，表现优异。

本研究提出FINDAP方法，旨在解决金融领域大语言模型的自适应后训练问题。通过识别核心能力和评估体系，采用创新的数据蒸馏方案，生成的Llama-Fin模型在多项金融任务中表现出色。