量子位
·
刚刚，Kimi开源底层推理框架，1小时GitHub揽星1.2k
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
Kimi与清华大学等机构联合开源了大模型推理架构Mooncake，旨在提升推理性能和用户体验。该架构采用分离式设计，优化资源利用，已在GitHub获得1.2k星。Mooncake通过预测负载和早期拒绝策略处理高并发请求，显著提高吞吐量，支持Kimi线上80%以上的流量。
🎯
关键要点
- Kimi与清华大学等机构联合开源了大模型推理架构Mooncake。
- Mooncake旨在提升推理性能和用户体验，已在GitHub获得1.2k星。
- 该架构采用分离式设计，优化资源利用，支持Kimi线上80%以上的流量。
- 开源将分阶段进行，逐步推出高性能KVCache多级缓存Mooncake Store的实现。
- Mooncake通过预测负载和早期拒绝策略处理高并发请求，显著提高吞吐量。
- Mooncake的核心在于以KVCache为中心的调度程序，平衡吞吐量和延迟要求。
- 早期拒绝策略在请求处理前预测资源是否足够，避免无效资源占用。
- Mooncake在某些模拟场景中可实现高达525%的吞吐量提升。
- 开源项目吸引了多家企业和研究机构参与，共同推动模型推理系统架构创新。
➡️
