Ferret：一种在不同内存约束下高效的在线持续学习框架

本研究针对高频数据流中实时学习和内存约束变化的问题，提出了Ferret框架。该框架结合细粒度的管道并行策略和迭代梯度补偿算法，有效应对并行训练中的梯度滞后问题，同时通过自动模型分区和管道规划，实现了在不同内存预算下的优化表现。研究显示，Ferret在多个基准测试中表现出显著的效率，内存开销降低最高可达3.7倍，同时在多种内存预算下均优于现有方法。