本研究提出PeZO框架，旨在解决零阶优化在硬件平台上对高高斯随机数生成的需求。通过随机数重用策略和适应性缩放方法，显著降低了硬件资源和功耗，使设备端训练成为可能。实验结果表明，PeZO在逻辑单元和功耗方面具有优势，为未来研究提供了重要见解。

本研究提出了一种新颖的零阶优化方法（DiZO），旨在解决大型语言模型微调中的内存不足问题。该方法通过层次化差异分析，提高了收敛速度和准确性，训练时间减少了48%，在多项任务中超越了现有基准。

本研究提出了一种名为MeZO的零阶优化方法，旨在替代反向传播法进行大规模语言模型的微调，显著降低内存开销。实验结果表明，MeZO能够在单个A100 GPU上训练数十亿参数的模型，其性能与反向传播相当。此外，结合稀疏性和量化技术，MeZO在内存受限环境中表现出色，提升了模型的训练效率和准确性。