本研究提出了一种新的实例级重加权算法，通过动态调整样本权重，聚焦于信息量大的样本，解决大型语言模型预训练中的样本重视不均问题。实验证明该方法能加速收敛并提升性能。

Dynamic Loss-Based Sample Reweighting to Improve Pretraining of Large Language Models
BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 ·
👤 个人中心
在公众号发送验证码完成验证