微软亚洲研究院提出DELT新范式,通过优化训练数据的顺序,提升语言模型性能,无需增加数据量或模型规模。该方法强调数据组织的重要性,结合数据评分、选择和排序,显著提高模型训练效率和泛化能力。
本研究解决了数据集蒸馏中合成样本缺乏多样性的问题,尤其是在大规模数据集上。提出的多样性驱动早晚训练(DELT)方案通过将预定义样本划分为更小的子任务并进行局部优化,有效提升合成图像的多样性。实验结果显示,该方法在多个数据集上提高了性能,同时显著减少了合成时间。
完成下面两步后,将自动完成登录并继续当前操作。