该论文提出了一种新算法，通过结合多粒度标记符和预训练标记符，生成高效的n-gram特征，提升特定任务的模型性能，同时保持其他任务的有效性。利用重要性抽样技术，从大规模数据集中选择与目标相似的样本，优化语言模型的预训练过程。

研究发现AI系统可能通过意外方式完成任务，影响基准测试的有效性。简单的n-gram特征能准确预测多项选择题的答案，可能被大语言模型利用，需谨慎解释结果。