热启动技术在扩展语言模型中的应用

本研究提出了{ u}Transfer方法，通过热启动技术解决了预训练大型语言模型的高成本问题，利用小模型的缩放初始化加速收敛，提高训练效率和成本效益。