BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z 通过最优控制进行语言模型的数据选择 💡 原文中文，约600字，阅读约需2分钟。 📝 内容提要 本研究提出了一种基于庞特里亚金最大化原理的数据选择框架，旨在从大量语料中选择高质量的预训练数据。通过将问题形式化为广义最优控制问题，该框架加速了语言模型的学习，并提升了多项下游任务的表现。 🏷️ 标签 庞特里亚金最大化 数据选择 最优控制 语言模型 预训练数据 阅读原文 生成长图 分享链接 已复制链接
