BriefGPT - AI 论文速递 · 2024-10-09T00:00:00Z

通过最优控制进行语言模型的数据选择

📝

内容提要

本研究提出了一种基于庞特里亚金最大化原理的数据选择框架，旨在从大量语料中选择高质量的预训练数据。通过将问题形式化为广义最优控制问题，该框架加速了语言模型的学习，并提升了多项下游任务的表现。

🏷️

标签

庞特里亚金最大化 数据选择 最优控制 语言模型 预训练数据