➡️
继续阅读
-
Kimi K3 模型结构（8）：训练并行，一步训练里谁在等谁
本文介绍Kimi K3模型预训练的并行系统设计，聚焦MoE层expert并行。核心是MoonEP方案：每个rank预留E/R个冗余expert槽位，确保任...
-
Kimi K3 模型结构（5）：宽度维度，Stable LatentMoE
Kimi K3模型采用Stable LatentMoE作为FFN，基于NVIDIA LatentMoE改进，将输入压缩至半宽latent空间，增加RMSN...
-
一分钟读论文：《数据喂饱了，算法还饿着》
清华大学团队研究发现，在线蒸馏中仅用一条训练query即可覆盖全量数据71.5%的学生状态，恢复大部分收益。瓶颈不在数据供给，而在算法吸收效率。多教师设定...
-
让炼丹更科学一些（九）：经典自适应梯度算法
本系列前面八篇文章，都是在围绕SGD及其学习率讨论。而从本文开始，我们将正式进入自适应梯度算法的世界。可以说，现在所有的自适应梯度算法，都有一个共同的源头...
-
Linux Kernel 7.1已经结束生命周期不再提供更新 用户应尽快升级到7.2系列
Linux Kernel 7.1系列已结束支持，最终版7.1.13于9月2日发布，含76项修复。该非LTS版本生命周期短，官方建议用户升级至7.2系列或L...
-
用 ChatGPT 定时任务做一个 Hacker News 中文摘要网站
作者利用ChatGPT定时任务自动抓取Hacker News前30条，生成中文摘要并筛选兴趣内容，通过Eleventy构建静态网站hn-digest并发布...
