➡️
继续阅读
-
Kimi K3 模型结构(5):宽度维度,Stable LatentMoE
Kimi K3模型采用Stable LatentMoE作为FFN,基于NVIDIA LatentMoE改进,将输入压缩至半宽latent空间,增加RMSN...
-
AI时代学编程:别背语法了,学逻辑才是正经事!
AI时代学编程,重点不在背语法,而在学逻辑。文章通过实例说明,编程思维能帮人精确表达需求,避免AI误解。核心是掌握循环、条件、调试等基础概念,用结构代替模...
-
营销人员使用Genie One的五个方法
本文介绍Databricks Genie One如何赋能营销团队,将数据转化为行动。它作为AI助手,帮助营销人员绕过分析师瓶颈,直接查询活动、客户和管道数...
-
Explore the globe in field recordings
I love field recordings. I love making them. I love them when they're inc...
-
并行策略总览:六个维度各切什么、怎么通信
本文介绍大模型并行训练的核心概念,将DP、TP、SP、PP、EP、CP六种并行方式按切分维度、显存减少、通信开销和等待关系列表对比。并行本质是切分模型并引...
-
Kimi K3 模型结构(10):RL 与服务,状态住在哪里
本文介绍Kimi K3模型在1M上下文强化学习与线上服务中的系统设计,核心是状态管理。KV块和KDA状态通过write-back策略在GPU与DRAM池间...