本研究探讨了遮蔽语言模型中$ exttt{[MASK]}$标记导致的语义破坏问题，提出了ExLM方法，通过扩展上下文中的$ exttt{[MASK]}$标记来增强模型的上下文容量。实验结果表明，ExLM在文本建模和SMILES建模任务中显著提升了性能，并减少了多模态问题。

本文提出了一种基于遮蔽语言模型的神经网络方法，用于多语言时间表达式的归一化，显著优于传统规则系统。研究表明，该方法在低资源语言上表现出色，尤其在法语和西班牙语中超越了现有自动化方法。此外，研究还探讨了时间知识图谱的预测及时间推理能力，强调了上下文学习的重要性。

本文研究了使用单个消费级GPU训练一天的遮蔽语言模型的下游性能，并通过修改预训练流程证明了性能与大型计算环境下的缩放定律密切相关。