该文详解DeepSeek-V4的mHC残差结构：将单条残差流拓宽为4条，通过读、写、混三算子连接子层。为保稳定，混合矩阵被约束为双随机矩阵（非负、行和列和均为1），经Sinkhorn-Knopp迭代投影实现，使复合映射增益从3000降至1.6。初始化时等价于普通Transformer，参数量仅占0.005%，带来推理性能提升，并与Kimi K3的Attention Residuals形成对比。

本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对embedding及各层输出做softmax加权，替代固定求和。K3采用Block形式，将93层分为8块，块内普通求和，块间注意力聚合，共9个来源。相比普通残差，此设计提升多步推理能力，降低输出幅度增长，并支持高效两阶段推理。

Kimi团队的《Attention Residuals》报告改进了残差连接结构，显著提升了大模型的训练效率。在相同算力下，该方法的效果相当于基线模型1.25倍算力的成果，获得硅谷AI界的认可，标志着深度学习基础范式的变革。

17岁高中生陈广宇与Kimi团队提出的Attention Residuals技术，通过“旋转90度”改进注意力机制，提升模型训练效率25%。该论文引起马斯克和Karpathy的关注，展示了深度学习的新思路。