本研究提出了SlimPipe技术，旨在解决长上下文大型语言模型训练中的内存压力和效率瓶颈。通过均匀切片和前后调度，SlimPipe显著提高了模型的FLOPs利用率，尤其在处理超过2048K的上下文时，利用率超过45%，优于现有方法。