本研究提出了一种新的增强上下文的遮蔽语言模型ExLM，解决了$ exttt{[MASK]}$标记导致的语义破坏问题，显著提升了文本建模和SMILES建模的性能。

本文研究了使用单个消费级GPU训练一天的遮蔽语言模型的下游性能，并通过修改预训练流程证明了性能与大型计算环境下的缩放定律密切相关。