【大模型基础设施工程·特别篇】32:AI 集群存储与分布式 KV 缓存系统

【大模型基础设施工程·特别篇】32:AI 集群存储与分布式 KV 缓存系统

💡 原文中文,约33100字,阅读约需79分钟。
📝

内容提要

本文讨论AI集群的存储与分布式KV缓存:训练随机读、Checkpoint脉冲写、推理KV加载三类负载会压垮传统NAS;DeepSeek 3FS以FoundationDB元数据、CRAQ强一致复制、USRBIO零拷贝实现高吞吐;推理侧从CachedAttention、SGLang HiCache到Mooncake、CacheBlend、NIXL,将闲置内存与NVMe池化为KV缓存;解析模型显示MLA大幅降低卸载盈亏门槛;生产要点包括cache_salt隔离、元数据风暴、超时回退与RDMA隔离。

🔎

延伸解读

存储选型先看负载画像,而非盲目追求新系统

文章指出AI集群有三类极端I/O:训练集随机读、Checkpoint脉冲写、推理KV缓存加载,它们对存储的要求互相冲突。通用NAS在元数据锁、Page Cache污染和内核路径税上容易失效。因此选型应先量化自身负载的并发形态、延迟SLO和带宽需求,再判断是否需要3FS这类AI原生文件系统。小规模集群硬上分布式存储,维护成本可能远超收益。

MLA让KV卸载的经济账发生质变

解析模型显示,DeepSeek-V3/R1的MLA将单token KV体积压到68.6 KiB,仅为70B GQA-8的约1/4.66。这使单块6 GB/s本地NVMe的盈亏长度从29,059 token降至3,905 token,每TiB缓存池可多容纳4.66倍上下文。即便给MLA配置两倍GPU算力,其极小传输载荷仍让远端加载在更短上下文下跑赢重算。模型架构选择直接影响存储层级的经济可行性。

生产落地要防五类系统边界,而非只盯带宽

文章列出五个典型暗坑:多租户前缀共享需网关强制注入cache_salt并禁止客户端透传;小块KV I/O易触发元数据风暴,需将引擎分页粒度与存储分块解耦;朴素页级LRU会误杀公共根前缀,应采用前缀树感知的叶子优先驱逐;Fail-Slow NVMe尾延迟要求读超时熔断回退重算;计算面与存储面RDMA混跑会引发PFC拥塞互锁,需物理或队列隔离。这些边界比峰值带宽更决定线上稳定性。

前缀匹配与选择性重算融合仍是开放路线之争

严格前缀匹配(vLLM APC、SGLang RadixAttention)零精度损失、易做计费承诺,但RAG乱序场景命中率低;CacheBlend只重算约15%高偏差token,将TTFT降低2.2至3.3倍,却改变注意力计算图,极端长距离强耦合问答下固定低重算比可能引发精度退化。两条路线尚未闭合,选型需按业务评测验证精度边界,而非默认缓存命中即无损。

❓

Q&A

为什么传统企业NAS和对象存储在AI集群中容易成为瓶颈?

AI集群有三类极端I/O负载会压垮传统存储:训练集全局随机读导致高并发小块随机读和频繁元数据操作,打满NAS网关CPU;万卡级Checkpoint脉冲写入在数秒内产生数千并发文件创建和fsync,锁死元数据服务器;推理KV缓存加载要求毫秒级延迟,传统VFS/FUSE内核路径和TCP协议栈开销会吃掉缓存收益。

DeepSeek 3FS是如何实现高吞吐和强一致的?

3FS采用三个关键设计:元数据服务无状态,托管给FoundationDB提供分布式ACID事务;数据副本使用CRAQ链式复制,通过Clean/Dirty多版本状态实现强一致下的任意副本读扩展;客户端提供USRBIO共享内存环形缓冲区(Ior/Iov)绕过FUSE和内核栈,存储节点用io_uring直驱NVMe。公开测试中180节点集群在含训练后台流量下达到6.6 TiB/s聚合读吞吐。

分布式KV缓存有哪些层次?各层典型介质和带宽是多少?

五层KV缓存层次:L1 GPU HBM(H100约3.35 TB/s,80-192 GB/卡);L2本机Host Pinned DRAM(PCIe 5.0约50 GB/s,0.5-2 TB/节点);L3本机NVMe SSD(单盘6-14 GB/s,单机10-60 TB);L4远端RDMA DRAM池(单400G NIC约45 GB/s,集群聚合数十至数百TB);L5分布式并行文件系统(3FS/Lustre/WEKA,PB级)与冷对象存储。

CacheBlend如何解决非前缀RAG块的KV缓存复用问题?

CacheBlend打破严格前缀匹配限制:对每段文档chunk保存独立KV;拼装新请求时,从第一层开始比对少量token的KV偏差,筛选出约15%受前序上下文影响最大的高偏差token;仅对这15% token在线重算并融合跨块注意力,其余85%直接复用缓存KV,并将加载与重算按层流水线重叠。论文中TTFT降低2.2-3.3倍,吞吐提升2.8-5倍且几乎不损伤质量。

MLA模型为什么能让KV缓存卸载到NVMe或RDMA更经济?

MLA大幅压缩单token KV体积:DeepSeek-V3/R1 MLA为68.6 KiB/tok,而Llama-3-70B GQA-8为320.0 KiB/tok,缩小4.66倍。在相同解析模型下,单块6 GB/s本地NVMe的盈亏长度从29,059 token降至3,905 token;每TiB集群内存池可容纳的上下文token数从约3.36M提升至15.65M。即使给MLA配置2倍GPU算力,其极小传输载荷仍使卸载更早盈利。

多租户共享KV缓存时如何防止前缀泄露?cache_salt有什么局限?

标准做法是在API网关根据租户身份注入不可预测的cache_salt,混入前缀哈希链根块的哈希输入,使不同盐值的请求块键正交,阻断跨租户命中与时序探测。但cache_salt只隔离逻辑块哈希,不隔离GPU物理显存页或进程地址空间;且必须禁止客户端透传原始cache_salt并限制长度,否则可能引发DoS。高安全场景仍需独立实例或硬件隔离。

🏷️

标签

➡️

继续阅读