通过重叠激活重计算优化大型模型训练

BriefGPT - AI 论文速递 · 2024-06-13T00:00:00Z

研究人员设计了重计算框架Lynx，通过重叠重计算和训练管道通信来减少开销。优化调度算法（OPT）和基于启发式的调度算法（HEU）优于现有重计算方法，性能提升1.02-1.53倍。HEU的搜索时间为0.16秒，与OPT相似。