➡️
继续阅读
-
Kimi K3 模型结构(10):RL 与服务,状态住在哪里
本文介绍Kimi K3模型在1M上下文强化学习与线上服务中的系统设计,核心是状态管理。KV块和KDA状态通过write-back策略在GPU与DRAM池间...
-
DeepSeek-V4 模型结构(7):结构决定系统
DeepSeek-V4模型采用混合压缩注意力(mHC),将KV缓存分为状态缓存和分页缓存,分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-g...
-
Kimi K3 模型结构(7):结构决定系统
本文总结Kimi K3模型结构对训练与推理系统的影响。KDA采用三种执行形态(FlashKDA、设备内上下文并行、状态回滚)处理固定大小状态;上下文并行通...
-
uBlock Origin 回来了!第三方开发者将其完整功能移植到 Manifest V3
uBlock Origin因Chrome淘汰Manifest V2被禁用,开发者r58Playz推出MV3非官方移植版,保留完整功能。安装需Chrome ...
-
系统设计两种抽象:Java藏细节 TLA+砍细节 根本两码事!
本文区分系统设计中两种抽象:模块化抽象(如Java)通过隐藏内部细节简化使用,建模抽象(如TLA+)通过削减无关信息提炼核心以精确推理。前者隐藏并发,后者...
-
“对混乱的发布感到抱歉”:OpenAI推出GPT-6 Astra,但开发者被拒之门外
OpenAI发布GPT-6 Astra,但发布过程混乱,CEO Sam Altman道歉。API和ChatGPT订阅用户尚未获得广泛访问权限,预计先从Pr...