解构Scaling Law:优化、架构、数据的三重奏

📝

内容提要

训练一个大型的神经网络,最终效果会受到非常多因素的影响,换个优化器,换个模型架构,或者换一个训练集,结果都可能截然不同。在工程实践中,我们将调试这些因素的经验结果,戏称为“炼丹”。但如何从经验上...

➡️

继续阅读