➡️
继续阅读
-
DeepSeek-V4 模型结构(7):结构决定系统
DeepSeek-V4模型采用混合压缩注意力(mHC),将KV缓存分为状态缓存和分页缓存,分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-g...
-
DeepSeek-V4 模型结构(2):序列维度(中),Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力(CSA)机制。KV缓存每4个token压缩为一条,1M上下文仍有26万条目,故用lightning ...
-
DeepSeek-V4 模型结构(0):一张图看懂 DeepSeek-V4
本文介绍DeepSeek-V4模型架构:Pro版总参数1.6T、61层,Flash版284B、43层,均采用4条残差流、交错CSA/HCA压缩注意力与Mo...
-
推理服务的缓存与调度:前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用writ...
-
CEO的1元年薪起源 - 编程一生
手机更新换代,背后的安迪-比尔定理。还有其他一些大家天天接触但很多人没有深究的一些现象都是怎么产生的呢? 又要换手机了 现象 很多朋友都发现这种事情,刚买...
-
又当了一回网络工程师,找到满速断网问题
搬家后宽带频繁断网,尤其在高速下载或看高清视频时。排查发现路由器、运营商均无问题,最终确定是墙内埋设的网线故障。将设备移至弱电箱后问题解决,网速提升一倍。...