本文研究了文档文本识别的自监督预训练方法，提出了基于掩码标签预测的自监督预训练方法，并探索了联合嵌入方法和模型崩溃预防技术。实验结果显示，自监督预训练在目标领域数据上有效，但在相关领域的迁移学习上表现不佳。
完成下面两步后，将自动完成登录并继续当前操作。
