量子位
·
Kimi开源又放大招！20秒更新万亿参数的中间件来了
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
Kimi推出的检查点引擎中间件可在20秒内更新万亿参数，支持高效的模型权重更新。该引擎通过两阶段流水线简化了训练与推理的解耦，优化了启动时间，提高了系统稳定性和效率。
🎯
关键要点
- Kimi推出的检查点引擎中间件可在20秒内更新万亿参数。
- 该中间件支持一次性将更新的权重发送给所有节点，并实现点对点动态更新。
- 检查点引擎主要用于强化学习中的模型权重更新。
- Kimi-K2在数千个GPU上更新1万亿参数仅需约20秒。
- 采用混合共置架构，训练引擎和推理引擎部署在同一组工作节点上。
- 研究团队通过分布式检查点引擎管理参数状态，简化了模型参数更新过程。
- 检查点引擎采用参数逐条更新的流水线方式，降低内存占用。
- 启动训练引擎时，选择性从磁盘读取参数以减少磁盘IO开销。
- 检查点引擎可以抵御单点故障，独立重启推理副本。
➡️
