本文提出了一种系统方法，通过缩放法则确定目标领域的最佳数据混合比例，以提升大规模模型的性能。该方法能够准确预测模型在特定领域权重下的损失，并在大型语言模型、多模态模型和视觉模型的预训练中验证其有效性。通过少量小规模训练，能够估计参数并推断更大规模的性能，提供了一种替代昂贵试错方法的方案。

研究人员在构建大型语言模型时，需要在计算和财务预算内优化性能。麻省理工学院与IBM研究所的团队收集了数百个模型及其性能指标，制定了选择小模型和估算缩放法则的指南，以提高预算使用效率。这些法则帮助研究人员预测大型模型的表现，促进了资源有限的研究者的理解与应用。

深度学习中的缩放法则探讨了模型性能、架构与计算量的关系。生成式推荐（如MTGR）通过优化用户行为建模，提升了美团外卖的推荐效果，离线CTCVR GAUC提升2.88个百分点，订单量增加1.22%。该方法在资源使用上与基准模型相当，在线推理节省12%。未来将继续优化模型，以提升推荐效果。

机器之心AIxiv专栏报道了腾讯AI Lab的研究，探讨低比特量化对未充分训练的大语言模型（LLM）的影响。研究表明，低比特量化在未充分训练的LLM上效果良好，但在充分训练后性能显著下降。研究人员提出了一套低比特量化的缩放法则，预测不同训练规模下模型的性能变化，强调充分训练的重要性。