本研究探讨了数据质量对大语言模型后期训练的影响。通过层级梯度分析，发现高质量数据与低核范数和高有效秩相关，推理数据在复杂任务中表现出更高的有效秩，揭示了数据质量与训练稳定性之间的关系。

本文提出了第一个联邦学习度量聚合方法，使用有效秩来评估模型学习效果，并展示了其在联邦问题上的高效性。同时，还开发了一个基于有效秩的新颖权重聚合方案。