Dynamic Loss-Based Sample Reweighting to Improve Pretraining of Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种新的实例级重加权算法,通过动态调整样本权重,聚焦于信息量大的样本,解决大型语言模型预训练中的样本重视不均问题。实验证明该方法能加速收敛并提升性能。

🏷️

标签

➡️

继续阅读