➡️
继续阅读
-
推理服务的缓存与调度:前缀、多级存储、集群路由
本文讨论长上下文推理服务的缓存与调度优化。核心原则是缓存未命中比命中贵几个数量级,因此设计围绕复用展开:单实例内通过块哈希实现前缀缓存;KV池采用writ...
-
DeepSeek-V4 模型结构(7):结构决定系统
DeepSeek-V4模型采用混合压缩注意力(mHC),将KV缓存分为状态缓存和分页缓存,分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-g...
-
Kimi K3 模型结构(7):结构决定系统
本文总结Kimi K3模型结构对训练与推理系统的影响。KDA采用三种执行形态(FlashKDA、设备内上下文并行、状态回滚)处理固定大小状态;上下文并行通...
-
在代理式RAG中建立信任始于证据
Agentic RAG通过代理重写查询、选择数据源和搜索方式,提升检索覆盖率,但需记录决策链以建立信任。系统应保留查询、来源、拒绝原因等痕迹,验证引用支持...
-
系统设计两种抽象:Java藏细节 TLA+砍细节 根本两码事!
本文区分系统设计中两种抽象:模块化抽象(如Java)通过隐藏内部细节简化使用,建模抽象(如TLA+)通过削减无关信息提炼核心以精确推理。前者隐藏并发,后者...
-
AI对存储需求暴增也促进磁带销量暴涨:26Q1磁带存储出货容量增长57%
AI行业存储需求推动磁带存储销量增长,2026年第一季度LTO磁带出货容量同比增长57%。磁带因成本低、适合低频访问和长期存储,并能物理隔离防勒索软件,成...