本研究提出了一种基于庞特里亚金最大化原理的数据选择框架,旨在从大量语料中选择高质量的预训练数据。通过将问题形式化为广义最优控制问题,该框架加速了语言模型的学习,并提升了多项下游任务的表现。
完成下面两步后,将自动完成登录并继续当前操作。