雾：通过内存并行优化高效分布式训练大型语言模型

本研究解决了现有自动分布式训练系统未能充分优化多种并行技术和内存优化的缺陷。文中提出的Mist系统，通过细粒度重叠调度和不平衡感知的层次调优，能够全面优化内存占用减少技术与并行性。测试结果表明，Mist在速度上比最先进的手动系统Megatron-LM快1.28倍（最高可达1.73倍），比最先进的自动系统Aceso快1.27倍（最高可达2.04倍），展示了其显著的效率提升潜力。