趋向稳定：小语言模型中的收敛挑战

研究小语言模型在训练后期性能下降的问题，分析Pythia模型的训练动态，发现小模型层收敛速度慢且不稳定，尤其在参数有效秩低时。研究提供了提高小模型学习效率的新方法。