本文探讨了通过高效的数据混合算法（ODM）和新正则化技术（mixout）优化大型语言模型的训练过程。研究表明，改进的数据混合比例和选择方法显著提升了模型在多样性和准确性方面的性能，尤其在处理复杂数据集时表现优异，为高效语言建模提供了新思路。