本文综述了预训练图模型的现状，分类现有PGMs，并探讨其在社交推荐和药物研究中的应用，提出未来研究方向。同时介绍了开放式关系建模、知识图谱表征模型及其在对象检测中的应用，强调了图基础模型的自我监督预训练任务及其潜在研究方向。

图基础模型（GFM）是图领域的新兴研究，旨在概括不同图和任务。文章综述了GFM的关键特征、技术及潜在研究方向，结合异构图神经网络和大型语言模型实现个性化推荐，并探讨自我监督预训练任务及其在零样本图学习中的应用。

本文提出了一种改进的视觉提示调整方法（VPT），通过优化预训练模型在下游任务中的表现，显著提升了自我监督预训练的适应性。动态视觉提示调整（DVPT）为每个图像生成实例级标记，提升了识别任务的性能。同时，提示凝聚技术有效减少了提示数量，保持了模型的准确度。整体上，VPT方法在多个基准测试中优于传统微调方法。

本文探讨了自动语音识别（ASR）模型的鲁棒性和隐私保护问题。研究表明，不同攻击算法对模型架构的影响显著，自我监督预训练可提升鲁棒性。提出的“内容隐藏”方法通过掩蔽技术保护语音内容，并评估其对ASR和自动说话者验证（ASV）的影响。实验结果显示，预训练和掩蔽策略能有效提高语音识别性能。

本研究提出了一种新颖的自我监督预训练方法，解决重症监护中的数据不足问题，并在数据有限的情况下，在院内死亡预测和表型预测等任务中优于基线模型，提升数据分析能力。

本文提出了两种新的数据集剪枝方法，可以在不牺牲下游性能的情况下，将源数据类别剪枝达到40%至80%，在预训练阶段实现了显著的2至5倍加速。该方法具有广泛的适用性，可以改进其他计算密集型的传输学习技术。