本研究提出了一种高效的一周期结构剪枝框架，旨在解决多阶段训练中的高计算成本和性能下降问题。通过优化子网络搜索，该方法在多个数据集上实现了先进的准确率，并提高了训练效率。

本研究提出了DeepSeek-R1及其无监督预训练版本DeepSeek-R1-Zero，旨在提升大型语言模型的推理能力。通过多阶段训练，DeepSeek-R1在推理任务上表现优异，解决了可读性和语言混合等问题。

大型语言模型（LLMs）在医疗领域具有巨大潜力，但也面临挑战。研究提出了一种多阶段训练方法，结合持续预训练和微调，显著提升了医学LLM的性能。新开发的开源医学语言模型MEDITRON在多个医学测试中表现优异，尤其在多语言医学问答基准上，展现了与GPT-4相当的能力。这些研究强调了数据集质量和多样性对模型性能的重要性。

本研究探讨了不同平衡策略对长尾识别的影响，发现简单的实例平衡抽样能有效提升分类器性能。提出的多阶段训练方案和提示调整方法在长尾分类中表现优异，尤其在多个数据集上取得了先进结果。此外，研究构建了统一框架，结合文本和图像，显著提高了小类别的识别能力。

本文介绍了为医学应用优化的数据集，探讨了微调对模型性能的影响。开发的多语言医学语言模型MMedLM 2表现优异，接近GPT-4。提出的多阶段训练方法显著提升了医学LLMs的性能，促进了医疗领域的研究与应用。同时，评估了开源LLMs在医疗摘要任务中的表现，推动了数字健康领域的发展。

本文介绍了多语言神经机器翻译（NMT）系统的研究进展，包括构建大规模多语言模型、提高低资源语言翻译质量，以及采用数据扩增和多阶段训练策略等新技术。这些方法在多种语言翻译任务中显著提升了NMT的效率和实用性。

本文介绍了一种通过多阶段训练扩大双编码器模型规模的方法，解决了双编码器在不同域上的推广问题。该方法在域外泛化和检索性能方面取得了显著提高，优于现有的检索模型。消融研究还发现该方法在数据效率方面非常高效。

该文介绍了一种将大型语言模型整合到医疗保健中的多阶段训练方法，通过专业域持续预训练、监督微调和直接偏好优化，以及一个包含医疗问答、纯文本、知识图谱和对话的 3Gb 中医数据集，医学 LLM（Qilin-Med）在性能上有了显著提升。

该文介绍了一种将大型语言模型整合到医疗保健中的多阶段训练方法，通过预训练、微调和优化等方式，提高了医学LLM的性能表现。该方法在测试集上表现优异，达到了16.66和27.44的BLEU-1和ROUGE1分数。