BriefGPT - AI 论文速递
·
无验证的调参：在训练集上搜索学习率和权重衰减
📝
内容提要
通过 Tune without Validation（Twin）管道，我们介绍了一种可以在没有验证集的情况下调整学习率和权重衰减的方法。我们利用最近关于假设空间中学习阶段的理论框架来设计一种启发式算法，该算法可以预测哪些超参数组合能够获得更好的泛化效果。通过网格搜索和早停 / 非早停调度器，Twin...
➡️
