DeepSeek-V4.1在主干外有两处改动。视觉端：自研DeepSeek-ViT从零训练，采用2D-RoPE、RMSNorm、SwiGLU，经3×3 pixel-unshuffle将token数除以9，再投影到5120维；1302×1302图像占994个位置，文本与图像token各用一套MoE负载均衡偏置。优化器端：head-wise Muon按注意力头分别正交化query权重；Sinkhorn-balanced update以行列交替归一化替代Adam二阶动量，仅存一份动量即可训练196B参数的Engram表。

DeepSeek-V4采用Muon优化器，通过谱范数最速下降实现逐矩阵正交化，用Newton-Schulz迭代逼近SVD，混合系数提升小奇异值并精确稳定大值。RMS匹配对齐AdamW，部分参数仍用AdamW。Q/KV归一化替代QK-Clip防logit爆炸，Anticipatory Routing打断MoE路由正反馈，MTP预测多token，训练配方含32T token等细节。

Kimi K3模型采用从零训练的MoonViT-V2视觉编码器，27层、patch14结构，支持高分辨率图像token化；MTP层预训练后微调为EAGLE-3投机解码draft模型；Per-Head Muon优化器按头正交化动量矩阵，提升训练稳定性。词表大小163840，采用稠密层设计，强调结构选择对系统设计的影响。

DeepSeek-V4系列模型推出了1.6T和284B参数的两个版本，采用混合注意力架构和流形约束超连接，提升了长上下文处理效率。通过Muon优化器和多项基础设施优化，模型在训练和推理阶段展现出更高的稳定性和效率。预训练后，DeepSeek-V4在多个基准测试中超越前代，设立了新的性能标准。

本文探讨了Muon优化器的变体，提出通过放宽Gram矩阵约束设计多种流形约束优化器。Muon优化器通过正交化权重更新改善条件数，而流形Muon进一步将权重限制在特定几何形状上。研究表明，放宽约束可以在保持良好条件的同时提升优化器的灵活性和收敛速度。

Muon优化器通过权重衰减和一致的RMS更新，提高了大规模语言模型的稳定性和效率，降低了计算成本。Moonlight模型表现优异，超越同类，支持多语言处理，推动高效训练方法的探索。

月之暗面开源了改进版Muon优化器，计算效率提升2倍，优于AdamW。新模型Moonlight在相同预算下表现更佳，支持大规模训练，无需调整超参数。