➡️
继续阅读
-
DeepSeek扩招!弹性计算团队大量HC,尤其需要资深工程师
DeepSeek发布DSec弹性计算技术报告并启动招聘。DSec是支撑DeepSeek-V4训练、评测和数据预处理的沙盒基础设施,单分片约160台服务器、...
-
LWiAI 播客第258期 - Opus 5.5、Sol 与 Luna、Muse、DeepSeek-V4.1-Flash、Xi
本期播客聚焦AI行业动态:Anthropic发布Opus 5.5,价格更低、性能更强,并扩大网络安全防御应用;OpenAI推出低价GPT-6系列Sol和L...
-
DeepSeek-V4.1 模型结构(8):KV cache 的管理与 SWA Bounded Replay
DeepSeek-V4.1为降低长上下文agent负载成本,将滑窗KV从SSD移至主机内存池,仅保留几分钟;全局KV仍存SSD至少72小时。滑窗KV丢失后...
-
DeepSeek-V4.1 模型结构(7):输入端与优化器
DeepSeek-V4.1在主干外有两处改动。视觉端:自研DeepSeek-ViT从零训练,采用2D-RoPE、RMSNorm、SwiGLU,经3×3 p...
-
DeepSeek-V4.1 模型结构(6):解码,DSpark
DeepSeek-V4.1 的 DSpark 是在主干模型后挂载的三层草稿模块,一次前向生成 5 个草稿 token:Markov head 补充 tok...
-
DeepSeek-V4.1 模型结构(5):记忆,Engram
DeepSeek-V4.1 在第1、14层引入 Engram 条件记忆:按 token 的 2/3/4-gram 哈希查表,用中国剩余定理以 8 个头区分...