本研究提出了一种新的可学习层级扩展方法LESA，旨在解决大规模语言模型训练中的高计算资源需求。通过层参数结合和奇异值分解，LESA优化了模型初始化，提升了训练速度，实验结果表明其性能优于现有基线，并降低了计算成本。

LESA: Learnable Hierarchical Scaling for LLMs
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证