研究表明，现有语言模型数据集中存在大量重复示例，导致模型输出中超过1%的内容直接复制。为此，开发了去重工具以提升模型准确性。此外，研究探讨了子词切分在多语言建模中的作用，发现其对模型性能有显著影响，并提出了优化分词的最佳方案。

该文介绍了一种考虑词素的子词切分方法，用于解决韩语中字节对编码（BPE）的挑战。该方法在预训练语言模型中平衡了语言准确性和计算效率，并在评估中表现良好，提高了句法任务的结果。