KV Cache砍掉99%，单卡吞吐飙6倍，港科CMU联手岩山科技开源新模型
内容提要
岩芯矩阵联合港科大、CMU等发布开源模型EdgeRock-4B，其核心“记忆岩锚”机制将推理关键信息固定在容量有限的锚点库中，使KV Cache不随上下文增长，256K上下文下固定为72MiB，较源模型减少99.1%。单张80GB显卡可同时运行512路长推理，输出吞吐12124 tokens/s，为源模型的6.42倍，推理能力基本保留，AIME平均通过率82.9%，远超同类有界状态模型。
延伸解读
固定内存带来的确定性优势
EdgeRock-4B将每条序列的KV Cache固定在72MiB，不随上下文增长。这意味着推理开始前就能精确计算内存需求，避免因缓存膨胀导致的显存溢出或排队。对于需要稳定服务多路请求的推理场景，这种确定性比单纯的吞吐提升更易规划资源，尤其在端侧内存有限时，可提前分配而不必担心长上下文挤占其他模块。
与有界状态模型的本质区别
RNN、Mamba等有界状态模型虽能固定内存，但往往丢失远处细节，导致推理能力大幅下降。EdgeRock通过记忆岩锚机制，将关键信息固定在锚点库中，需要时直接读取，从而在固定内存下保留了长距离依赖。AIME平均通过率82.9%远超同类有界状态模型最好18.8%的成绩，说明其并非以牺牲推理能力换取内存节省。
吞吐提升背后的成本逻辑
单张80GB显卡同时跑512路长推理，输出吞吐12124 tokens/s，是源模型的6.42倍。由于KV Cache不随长度增长，单卡可容纳的并发序列数大幅增加，按GPU时长计费时每个token的算力成本相应下降。且上下文越长，与KV Cache随长度增长的模型差距越大，这为长推理、Agent连续调用等场景提供了更经济的部署选择。
锚点机制的可解释性与局限
每个锚点记录来源位置，可直接查看模型选择记住了什么，这为调试和信任提供了窗口。但锚点库容量固定为1024条，评分网络每256条候选淘汰一次，意味着模型必须学会取舍。若关键信息未被锚点保留，远距离回忆可能失效。文章未提及锚点淘汰策略在极端长尾任务上的表现，实际部署时需关注其对特定领域细节的保留能力。
Q&A
EdgeRock-4B模型在256K上下文下KV Cache占用是多少？相比源模型减少了多少？
在256K上下文下，EdgeRock-4B的KV Cache固定为72MiB，相比源模型Qwen3.5-4B减少了99.1%。
EdgeRock-4B在单张80GB显卡上的吞吐性能如何？
单张80GB显卡可同时运行512路长推理，输出吞吐达到12124 tokens/s，是源模型Qwen3.5-4B的6.42倍。
EdgeRock-4B的推理能力表现怎么样？
在AIME 2024-2026上平均一次通过率达到82.9%，远超同类有界状态模型（最好仅18.8%），推理能力基本保留。
记忆岩锚（RMA）机制是如何工作的？
RMA将推理关键信息固定在容量有限的锚点库中：写入器为每个token生成候选记录，评分网络打分，每累积256条候选与已有记录比较，保留得分最高的1024条，其余淘汰。四个KV组独立进行，锚点内容不变，可随时读取。
EdgeRock-4B相比传统有界状态模型有什么优势？
传统有界状态模型内存固定但推理能力差，EdgeRock-4B在保持固定内存的同时推理能力大幅领先：AIME平均通过率82.9% vs 最强基线18.8%，在29项文本基准中24项排名第一。
EdgeRock-4B是如何从Qwen3.5-4B改造而来的？
保留24个Gated DeltaNet层，将8个全注意力层替换为1024窗口的滑动窗口注意力，并加入独立的RMA模块，由Qwen3.5-4B分阶段转换而来，无需从头预训练。
