字节跳动的豆包大模型团队提出了超连接（Hyper-Connections），作为残差连接的替代方案，有效解决了梯度消失和表示崩溃的问题。该方法在Dense和MoE模型的预训练中显著提升性能，收敛速度提高了80%。超连接通过动态调整连接权重，适用于大规模语言模型和视觉任务，具有广泛的应用前景。