多语言大模型中的跨语言表示对齐能提升跨语言任务性能。传统对齐方法需大量计算资源和数据，而模型干预是一种更高效的替代方案。我们分析了一种流行的干预方法（寻找专家），发现通过操控神经元可增强跨语言对齐，检索任务性能最高可提高2倍准确率。
本文研究小规模下训练稳定性和不稳定性的再现和研究方法，探讨了注意力层中逻辑增长和输出逻辑概率分歧的两个训练不稳定性来源，以及学习率、优化器和模型干预对最终损失的影响。通过研究模型激活和梯度范数的缩放行为来预测出现不稳定性的两种情况。
完成下面两步后，将自动完成登录并继续当前操作。
