本研究提出了一种新方法Depth-μP,旨在解决预测编码网络(PCN)在训练超过100层深度网络时的困难。尽管存在不稳定性,μPC在简单分类任务中表现出竞争性能,能够稳定训练高达128层的残差网络,并实现零-shot迁移学习。
完成下面两步后,将自动完成登录并继续当前操作。