该研究探讨了BERT微调中随机种子、权重初始化和训练数据排序对结果的影响，并提出最佳实践。通过引入分层噪声稳定性正则化（LNSR）等技术，显著提升了自然语言处理任务的泛化能力和稳定性。同时，研究分析了词元嵌入的非各向同性问题，提出了DefinitionEMB方法，改善了低频词的模型性能。