BriefGPT - AI 论文速递
·
CoLLiE: 高效方式中的大型语言模型的协同训练
📝
内容提要
这篇论文介绍了 CoLLiE，一种高效的库，通过 3D 并行性、参数高效微调方法和优化器，如 Lion、Adan、Sophia、LOMO 和 AdaLomo，促进了大型语言模型的协作训练。CoLLiE 在预训练和微调场景中证明了其卓越的训练效率，并在吞吐量方面进行了综合比较各种优化器和 PEFT 方法。
🏷️
标签
➡️
