本研究探讨了视觉-语言模型（VLMs）在文本编码器中获取语法知识的局限性，结果显示单模态语言模型（ULMs）在语法信息获取方面明显优于VLM，而VLM的语法学习受到预训练目标的显著影响。

该研究提出了一种简单的预训练目标，通过学习表格数据来处理表格任务。该模型在基于表格的预测任务上表现出色，超过了竞争方法。研究还对模型的学习表示进行了质量分析，结果表明它可以理解复杂的表语义和数字趋势。

本文研究了无监督原始数据改善自然语言模型预训练的方法，提出了三种替代BERT的预训练目标，并介绍了自监督预训练任务与下游应用结构对齐的方法，展示了在多个任务上的性能提升。

该研究利用多模态提取和图像文本对齐，采用创新的预训练目标来提高实体和关系的提取能力。实验结果表明，相对于先前的最佳方法，该方法的F1值提高了3.41％，并且对先前的多模态融合技术是正交的。在先前的最佳方法的基础上，该方法提高了5.47％的F1。