➡️
继续阅读
-
DeepSeek-V4 模型结构(5):宽度维度,DeepSeekMoE 的四个改动
本文介绍DeepSeek-V4模型结构中MoE层的四处改动:路由打分从sigmoid改为sqrt(softplus)以消除饱和;前三层用固定hash ro...
-
一台 3D 打印机,为什么藏着 GPT-6 最大的野心?|硬哲学
GPT-6 Astra宣传片展示了从画黄色圆圈到生成3D模型,最终通过拓竹P1S打印机变成实物的过程,体现AI从屏幕内容生成进入现实操作。文章认为GUI是...
-
我们花了一周时间测试IFA上最棒(也最奇特)的科技产品,欢迎提问
IFA 2026柏林展会上,The Verge编辑测试了众多科技产品,涵盖智能家居、手机、手表等。他们正为订阅者举办问答活动,解答关于飞利浦Hue灯、Eu...
-
DeepSeek-V4 模型结构(7):结构决定系统
DeepSeek-V4模型采用混合压缩注意力(mHC),将KV缓存分为状态缓存和分页缓存,分别管理滑窗KV与压缩条目。上下文并行通过点对点通信和all-g...
-
DeepSeek-V4 模型结构(6):优化器与稳定性,Muon
DeepSeek-V4采用Muon优化器,通过谱范数最速下降实现逐矩阵正交化,用Newton-Schulz迭代逼近SVD,混合系数提升小奇异值并精确稳定大...
-
Kimi K3 模型结构(8):训练并行,一步训练里谁在等谁
本文介绍Kimi K3模型预训练的并行系统设计,聚焦MoE层expert并行。核心是MoonEP方案:每个rank预留E/R个冗余expert槽位,确保任...