GeoContrastNet是一个语言不可知的框架，通过结合对比学习目标和图注意力网络（GATs），强调几何特征的重要性，实现了结构化文档理解（DU）。该方法在链接预测和语义实体识别方面表现出有希望的结果。研究结果表明，将几何特征和视觉特征相结合，可以提高大型DU模型的性能准确性和效率。该方法突出了页面布局中命名文本实体之间的关系布局信息的重要性。

该研究通过整合大型语言模型的对比学习目标，解决了生成不受欢迎和事实不正确内容的问题。通过自毁训练和利用现成的语言模型进行数据生成，成功降低了生成有毒内容的频率，并在通用任务中保持了模型的实用性。