本研究提出了一种新颖的零阶优化方法(DiZO),旨在解决大型语言模型微调中的内存不足问题。该方法通过层次化差异分析,提高了收敛速度和准确性,训练时间减少了48%,在多项任务中超越了现有基准。
完成下面两步后,将自动完成登录并继续当前操作。