μPC: Scaling Predictive Coding to Networks Exceeding 100 Layers

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新方法Depth-μP,旨在解决预测编码网络(PCN)在训练超过100层深度网络时的困难。尽管存在不稳定性,μPC在简单分类任务中表现出竞争性能,能够稳定训练高达128层的残差网络,并实现零-shot迁移学习。

🏷️

标签

➡️

继续阅读