通过缩放初始化加速正弦神经场的训练
原文中文,约400字,阅读约需1分钟。发表于: 。本研究解决了正弦神经场(SNFs)训练成本高的问题,提出了通过乘以常数对权重进行初始化的创新方案,显著提高了训练速度,达到10倍加速。这一成果不仅有效地改善了谱偏差,还确保了优化过程的良好条件性,推动了神经场的更广泛应用。
我们研究了Maloney等人的三参数神经缩放模型,涉及数据复杂性、目标复杂性和模型参数数目。通过随机梯度下降训练,我们推导出适用于所有迭代次数的损失曲线,并分析了模型参数数目的最优值。在数据复杂性和目标复杂性平面上确定了4个相位及其相界,受模型容量和优化器噪声等因素影响。通过数学证明和数值证据,我们得出了这些相位的缩放规律指数。