Mooncake for Miles：从碎片化的Rollout数据到高效的批量I/O
内容提要
本文介绍了Mooncake如何优化强化学习（RL）系统中从推理到训练的数据传输。RL的rollout数据异构且内存碎片化，Mooncake通过结构化编码和批量I/O，将Miles框架的GET速度提升约10-14倍，PUT提升1.2-1.6倍，同时保持数据结构和语义不变，支持异步流水线，提高整体效率。
延伸解读
为什么RL rollout数据传输比想象中更难
文章指出，RL的rollout数据并非单一连续张量，而是由多种异构字段组成的结构化对象，包括张量、NumPy数组、Python标量列表等。这些字段在内存中高度碎片化，每个样本可能对应多个独立的小分配。若逐个传输，会产生大量内存注册和存储操作；若整体序列化，则需遍历和复制庞大的对象图。因此，高效传输的关键在于既保留原始结构，又避免过度序列化和复制开销。
Mooncake的优化思路：结构化编码与批量I/O
Mooncake通过两层设计解决上述挑战：首先，利用框架提供的schema或自动推断，将每个字段映射到高效的编码方式，如张量保持类型、不规则行携带边界元数据、Python值保留重建所需信息。其次，通过复制计划将小行打包进可复用的BufferPool块，避免逐行注册和临时拼接，实现批量I/O。最终，通过清单（manifest）发布完整数据包，确保读者不会看到半写入的字典。
性能提升的适用边界与注意事项
基准测试显示，Mooncake相比Ray后端，GET速度提升约10-14倍，PUT提升约1.2-1.6倍。但需注意，这些数字仅针对特定负载（Qwen3-0.6B，8个样本，每个响应256个token），且只衡量数据传输和重建，不包含端到端训练吞吐。此外，PUT提升较小，因其路径包含Python对象遍历和元数据构建。实际效果可能因数据形状、字段类型和样本数量而异，需结合真实工作负载评估。
Q&A
Mooncake如何优化Miles框架中从推理到训练的数据传输？
Mooncake通过结构化编码和批量I/O优化数据传输。它先将异构的rollout数据展开为可高效编码的叶子节点，为每个字段选择合适的布局，然后通过复制计划将碎片化的小行打包到可复用的BufferPool块中，实现批量传输。最后，通过发布完整的bundle清单，确保数据在准备好后才可见，GET时按清单反向重建原始对象。
为什么RL的rollout数据传输具有挑战性？
RL的rollout数据具有异构的数据类型和复杂的语义，包含张量、NumPy数组、标量列表、变长序列等，且内存布局高度碎片化，每个样本可能对应多个小内存分配。这些特性使得高效传输需要同时兼顾效率、正确性、可扩展性、灵活性和可预测的延迟。
Mooncake在Miles中的性能提升具体是多少？
在Miles的基准测试中，Mooncake相比Ray后端，GET速度提升约10-14倍，PUT速度提升约1.2-1.6倍。
Miles的rollout数据包含哪些字段？
Miles的rollout数据包含token、loss_masks、rollout_log_probs等主要数值字段，以及IDs、长度、奖励、标志等标量字段，还有可选的元数据字段。这些字段在内存中表示为每样本的NumPy数组列表、Python标量列表等。
Mooncake如何保持rollout数据的结构不变？
Mooncake通过框架提供的schema或自动推断的schema来固定每个字段的存储表示，确保类型、形状、行边界、空值状态和元数据在传输后保持不变。它使用字段特定的编码生成类型化的payload成员和重建元数据，GET时按清单反向重建原始对象。
Mooncake的批量I/O是如何实现的？
Mooncake通过构建复制计划，将可合并的小行直接打包到可复用的、已注册的BufferPool块中，避免为每个小分配单独发起Store操作。对于大型连续张量，则使用原生Store路径。这样既避免了序列化整个字典为不透明blob，也避免了逐个小分配的开销。
Mooncake的集成对Miles的异步RL流水线有何影响？
Mooncake的集成不影响Miles的异步RL流水线。虽然单个传输调用是同步的，但Miles可以在训练rollout N的同时生成rollout N+1，实现流水线级并发。Mooncake通过更快的传输减少了训练器等待数据的时间，提高了整体效率。
