➡️
继续阅读
-
神所使用的 eGPU 并不完美
作者因轻薄本核显性能不足,购买华为显卡魔方外接显卡,但遇电源散热问题导致重启,遂转用机魂联盟扩展坞配RX 9060 XT显卡。性能提升显著,但雷电4带宽限...
-
DeepSeek-V4 模型结构(7):结构决定系统
DeepSeek-V4模型采用混合压缩注意力(mHC),将KV缓存分为状态缓存和分页缓存,分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-g...
-
DeepSeek-V4 模型结构(2):序列维度(中),Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力(CSA)机制。KV缓存每4个token压缩为一条,1M上下文仍有26万条目,故用lightning ...
-
Kimi K3 模型结构(7):结构决定系统
本文总结Kimi K3模型结构对训练与推理系统的影响。KDA采用三种执行形态(FlashKDA、设备内上下文并行、状态回滚)处理固定大小状态;上下文并行通...
-
系统设计两种抽象:Java藏细节 TLA+砍细节 根本两码事!
本文区分系统设计中两种抽象:模块化抽象(如Java)通过隐藏内部细节简化使用,建模抽象(如TLA+)通过削减无关信息提炼核心以精确推理。前者隐藏并发,后者...
-
OpenAI会卖给你Astra,但不会卖给你在ARC-AGI-3上得分98.6%的那套系统
文章探讨了AI模型评测中“框架工程”(harness)的关键作用。以GPT-6 Astra为例,同一模型在不同评测框架下得分差异显著(62.7%对98.6...