本文介绍作者用Rust重写Mooncake存储模块为Suncake项目，通过Qoder和Qwen3.8从零开发，仅用37个提交完成。相比C++版，性能提升显著：墙钟时间约为C++的52%，get尾部延迟改善数百倍，线程数从266降至21。作者认为Rust的async/await更适合IO密集型应用，并指出项目零单测等弱点。

本文介绍了Mooncake如何优化强化学习（RL）系统中从推理到训练的数据传输。RL的rollout数据异构且内存碎片化，Mooncake通过结构化编码和批量I/O，将Miles框架的GET速度提升约10-14倍，PUT提升1.2-1.6倍，同时保持数据结构和语义不变，支持异步流水线，提高整体效率。

Kimi K3采用KDA与MLA混合注意力架构，引入循环状态缓存，改变传统KV缓存语义。Mooncake与SGLang、vLLM、TokenSpeed合作，实现KDA感知的检查点管理、跨实例缓存复用及统一数据传输平面，支持百万级长上下文推理，降低冗余计算，提升多轮对话和智能体任务效率。

Mooncake架构通过分布式KV Cache缓存池，将Kimi请求吞吐量提升115%，获存储顶会最佳论文。它分离预填充与解码节点，全局共享缓存，解决长上下文瓶颈。该架构拉动DRAM、光模块、SSD需求，开源生态正跟进，成为行业标准。

Mooncake SSD离线存储解决了KV缓存的存储效率问题，通过将长尾KV块存储在SSD上，提高了缓存命中率，减少了重新计算的开销。系统支持异步数据传输，优化了SSD数据路径，提升了整体性能。未来计划包括GPU直接存储和分布式存储后端的集成，以进一步提高效率。

OpenClaw与Mooncake的整合显著提升了多会话推理的稳定性，降低了系统的尾部延迟，改善了用户体验，减少了卡顿现象。尽管请求速度没有显著提升，但系统的稳定性和响应性得到了改善，使得OpenClaw更适合处理复杂的多会话和长上下文交互。

Mooncake正式加入PyTorch生态系统，专注于开放治理和与PyTorch社区的长期合作。它提供高效的通信和存储基础设施，支持分散的LLM架构，提升推理性能。Mooncake的功能包括预填充与解码分离、全局KVCache重用、弹性专家并行和容错分布式后端，已被多家知名企业广泛采用。

Databricks收购Mooncake技术，旨在将分析直接融入决策过程。Mooncake支持PostgreSQL，结合事务处理与快速分析，消除ETL管道管理。其实时层和HTAP功能促进了事务与分析系统的整合，为AI代理提供新可能性。

Mooncake Labs加入Databricks，推动Lakebase发展，提供集成OLTP数据库，优化AI代理应用开发。Mooncake使开发者和代理能够在同一数据上实时进行事务和分析，提高效率。

2024年6月，Kimi与清华大学联合发布了以KVCache为核心的大模型推理架构Mooncake，旨在提升推理性能、降低成本并促进高性能推理框架的生态建设。该项目已开源，阿里云参与了关键组件的开发，未来将与更多机构合作推动模型推理系统的创新。

在大模型时代，推理系统面临高负载和成本挑战。月之暗面Kimi与清华大学联合发布的Mooncake推理系统，基于KVCache架构提升推理效率，并已开源，旨在为大模型提供高性能存储标准接口，推动行业发展。