A Mathematical Data Selection Framework Using Skill Graphs for Pretraining Large Language Models

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出MASS框架,旨在解决大型语言模型预训练中的数据选择问题。该框架通过数学推理技能图有效捕捉数学技能及其关系,实验结果显示显著提升了模型的训练效率和效果。

🏷️

标签

➡️

继续阅读