MegaMath: Pushing the Limits of Open Mathematical Corpora

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究解决了缺乏开放、大规模、高质量数学预训练语料库的问题,MegaMath提供了3710亿个令牌,成为现有数据集中数量最多、质量最高的,为数学中心的大型语言模型提供了重要支持。

🏷️

标签

➡️

继续阅读