本研究提出DynMo,一种自主动态负载平衡解决方案,旨在提高大型语言模型(LLMs)的训练效率。通过自适应负载平衡和智能任务打包,DynMo在多GPU和多节点系统中可将训练速度提升至最高4.52倍。
完成下面两步后,将自动完成登录并继续当前操作。