DeepSeek-V4通过创新技术实现高性价比，采用MoE模型分离总参数与每token成本，结合混合注意力CSA和HCA降低计算需求，引入mHC和Muon优化训练稳定性，利用磁盘缓存减少重复计算成本，最终实现1M上下文的高效推理。

本文探讨了在Transformer模型中将点积结果除以√d_k的原因。这一操作旨在避免softmax函数饱和，确保梯度有效传播。通过数学推导，证明了点积的方差为d_k，缩放后方差归一化为1，从而保持训练的稳定性。文章还讨论了不同维度下的训练效果及现代优化器如何与√d_k的设计结合，以提升模型性能。

残差连接在Transformer中至关重要，它通过提供直通路径解决深层网络的优化问题，使每层只需学习小的修正。残差连接提高了训练的稳定性，促进了梯度的顺畅传播，避免了梯度消失问题，是Transformer成功的关键因素之一。

阿里巴巴Qwen团队的论文《Gated Attention》提出在Transformer注意力机制中引入门控，以解决训练不稳定、注意力聚焦和长上下文表现不佳的问题。该方法通过选择性过滤信息，提升了模型性能和训练稳定性，已在Qwen3-Next模型中应用，效果显著。

何恺明团队推出了改进版单步生成模型iMF，解决了训练的稳定性和效率问题。在ImageNet测试中，iMF表现优异，FID成绩为1.72，超越多步扩散模型，证明其性能可与之媲美。

Thinking Machines公司发布了关于“模块化流形”的论文，旨在提升神经网络训练的稳定性和效率。研究通过对权重矩阵施加流形约束，解决训练不稳定问题，优化算法表现优于传统方法，预计将提高大型模型的训练效率。

本文介绍了一种新型强化学习算法——群体序列策略优化（GSPO），旨在提升大型语言模型的训练稳定性和效率。GSPO通过基于序列概率定义重要性比率，解决了GRPO算法的稳定性问题，显著提高了Qwen3模型的性能。

本文探讨了传统单调多层感知器（MLP）在优化过程中的挑战，提出了带有非负权重约束和饱和激活的MLP作为单调函数的通用逼近器。通过分析激活函数与权重约束的关系，提供了理论支持，简化了网络架构，并提出了通过激活调整来改善优化困难的新方法，从而增强了训练的稳定性。

该研究提出了一种新型“集成流”方法，旨在解决传统ODE生成模型在样本质量和训练稳定性方面的不足。通过学习ODE轨迹的积分，该方法提高了模型的稳定性和准确性，并在多个ODE基础模型中展现出更优的性能。

本研究提出了一种新型智能优化器FSCO，旨在解决生成对抗网络（GAN）训练中的敏感性问题。通过强化学习动态控制训练步长，提高训练稳定性，降低对步长的敏感性。实验结果表明，该方法在多个基准数据集上表现有效。

本研究探讨了数据质量对大语言模型后期训练的影响。通过层级梯度分析，发现高质量数据与低核范数和高有效秩相关，推理数据在复杂任务中表现出更高的有效秩，揭示了数据质量与训练稳定性之间的关系。

本研究提出了2D-Curri-DPO框架，克服了传统偏好优化方法的局限性，通过建模复杂性和可区分性，提升了训练的稳定性和优化效果。实验结果表明，该框架在多个基准测试中表现优异。

本研究提出HyperLLM框架，旨在解决现有推荐系统无法有效捕捉文本和语义层次信息的问题，从而显著提升推荐性能和训练稳定性。

蚂蚁公司Ling模型研发负责人表示，国产GPU训练大模型的成本与英伟达相当或更低。近期技术论文显示，蚂蚁的MoE大模型在国产GPU上实现高效训练，受到广泛关注。张志强分享了训练过程中的经验，强调训练稳定性和成本优化的重要性，并指出国产加速卡的潜力。

本研究提出了一种新型混合归一化策略HybridNorm，旨在解决深层变换器网络训练中的层归一化问题。实验结果表明，HybridNorm在密集和稀疏架构中均优于传统方法，显著提升了大语言模型的训练稳定性和性能。

本研究在CrossQ框架中整合权重归一化，解决了强化学习的样本效率瓶颈，显著提升了训练的稳定性和效率。