无限宽度下的局部损失优化：预测编码网络和目标传播的稳定参数化
原文中文，约300字，阅读约需1分钟。发表于：。本研究针对局部学习算法在神经计算中的复杂性和超参数设置的挑战，提出了一种新的最大更新参数化（$\mu$P），用于预测编码和目标传播等局部目标的设计。通过对深层线性网络的分析，我们发现$\mu$P在无限宽度极限中展现出独特的性质，使得超参数能够在不同宽度的模型间转移，并且在特定设置下，其表现更接近于一阶梯度，从而对局部损失优化的理解和应用具有重要影响。
本研究提出了一种新的最大更新参数化（$ u$P），旨在解决局部学习算法在神经计算中的复杂性和超参数设置问题。分析表明，$ u$P在无限宽度极限中具有独特性质，有助于超参数在不同模型间的转移，并改善对局部损失优化的理解与应用。
