本研究探讨了遮蔽语言模型中$ exttt{[MASK]}$标记导致的语义破坏问题，提出了ExLM方法，通过扩展上下文中的$ exttt{[MASK]}$标记来增强模型的上下文容量。实验结果表明，ExLM在文本建模和SMILES建模任务中显著提升了性能，并减少了多模态问题。