Kimi团队的《Attention Residuals》报告改进了残差连接结构，显著提升了大模型的训练效率。在相同算力下，该方法的效果相当于基线模型1.25倍算力的成果，获得硅谷AI界的认可，标志着深度学习基础范式的变革。

17岁高中生陈广宇与Kimi团队提出的Attention Residuals技术，通过“旋转90度”改进注意力机制，提升模型训练效率25%。该论文引起马斯克和Karpathy的关注，展示了深度学习的新思路。