Local Loss Optimization in Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新的最大更新参数化($bc$P),用于优化局部学习算法在神经计算中的复杂性。通过分析深层线性网络,发现$bc$P在无限宽度极限中具有独特性质,能够在不同宽度模型间转移超参数,并在特定设置下表现接近一阶梯度,对局部损失优化具有重要影响。

🏷️

标签

➡️

继续阅读