Fractional Connections: Partial Expansion of Hyperconnections

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种分数连接方法,解决了深度网络训练中超连接的高内存访问成本问题。通过将隐藏状态划分为多个部分,分数连接在大规模语言任务上显著优于传统的残差连接。

🏷️

标签

➡️

继续阅读