本文研究了小规模下训练稳定性和不稳定性的再现和研究方法，重点关注了注意力层中的逻辑增长和输出逻辑概率分歧。研究发现学习率、优化器和模型干预对最终损失的敏感性，并通过研究模型激活和梯度范数的缩放行为来预测不稳定性。

本文研究小规模下训练稳定性和不稳定性的再现和研究方法，探讨了注意力层中逻辑增长和输出逻辑概率分歧的两个训练不稳定性来源，以及学习率、优化器和模型干预对最终损失的影响。通过研究模型激活和梯度范数的缩放行为来预测出现不稳定性的两种情况。