该文详解DeepSeek-V4的mHC残差结构：将单条残差流拓宽为4条，通过读、写、混三算子连接子层。为保稳定，混合矩阵被约束为双随机矩阵（非负、行和列和均为1），经Sinkhorn-Knopp迭代投影实现，使复合映射增益从3000降至1.6。初始化时等价于普通Transformer，参数量仅占0.005%，带来推理性能提升，并与Kimi K3的Attention Residuals形成对比。