闪光关注是否稳定？

本文研究了小规模下训练稳定性和不稳定性的再现和研究方法，重点关注了注意力层中的逻辑增长和输出逻辑概率分歧。研究发现学习率、优化器和模型干预对最终损失的敏感性，并通过研究模型激活和梯度范数的缩放行为来预测不稳定性。