本研究提出了一种名为“升级指令调优”（UpIT）的方法，旨在解决稠密模型转化为专家混合模型（MoE）时的数据需求问题。该方法通过利用稠密模型的中间检查点，灵活扩展专家数量，并结合遗传算法与参数合并，以确保专家的多样性。实验结果表明，UpIT在数据效率和专家多样性方面表现优异。