本研究提出了一种新的增强上下文的遮蔽语言模型ExLM，解决了$ exttt{[MASK]}$标记导致的语义破坏问题，显著提升了文本建模和SMILES建模的性能。

该文介绍了一个利用预训练语言模型处理长文本文档的深度学习框架，通过自注意力机制提取文档级特征，该框架在美国银行的报告数据集上表现出色，是文本建模和回归模型的更好选择，有助于提高预测分析的质量。