本文研究了无监督原始数据改善自然语言模型预训练的方法，提出了三种替代BERT的预训练目标，并介绍了自监督预训练任务与下游应用结构对齐的方法，展示了在多个任务上的性能提升。

本文研究了遮蔽图像建模技术在医学三维图像分析中的应用，相比基于对比学习的方法，其能够更快地进行监督学习并达到更高的精度。使用高遮蔽率和相对较小的块大小预测原始像素值是医学图像建模的重要自监督预训练任务。轻量级的解码器或投影头设计能够加快训练速度并降低成本，而MIM方法在不同的图像分辨率和标签数据比例下都具有良好的效果。