本研究提出了一种名为BM-MAE的遮挡图像建模预训练策略，旨在解决多模态医学影像中的缺失模态问题。该方法提高了医疗成像的资源利用效率，并在多项任务中优于传统的单模态预训练方法，展示了其实际应用价值。

本研究探讨了视觉语言模型在尤文肉瘤（ES）诊断中的应用，分析了不同预训练策略在数字化组织微阵列中区分ES与其他肿瘤的能力。结果显示，视觉语言监督（VLS）显著提高了诊断准确性，具有重要的临床应用潜力。

本研究提出了一种新型无编码器多模态大语言模型SynerGen-VL，采用令牌折叠机制和视觉专家的预训练策略，简化了模型架构和训练流程，支持高分辨率图像理解。经过训练，SynerGen-VL的性能与现有模型相当或更佳，展现了统一多模态模型的潜力。

本文提出了一种双层联合无监督与监督训练（BL-JUST）框架，旨在改进传统的预训练与微调策略。该方法通过同时最小化无监督与监督的损失函数，提升声学模型的通用性和任务特定性。研究表明，BL-JUST在多个数据集和架构下表现优于传统策略和半监督技术。

本研究提出了一种新的预训练策略GRAIN，旨在提升视觉语言模型在细粒度实体识别和未见概念的零-shot性能。通过对齐文本描述和图像表示，模型在识别新概念和其他任务中的检索性能显著提高。

本研究提出了一种新型预训练策略，强调氨基酸残基间的相互作用，提升了从序列数据中提取共演化特征的能力。实验结果表明，该模型在多个基准任务中表现优异，标志着蛋白质序列建模的重大进展。

本研究提出了一种主动遗忘的预训练策略，以提升解码器语言模型在非英语语言上的表现。实验结果表明，该方法有效增强了模型的跨语言迁移能力，改善了多语言表示，从而在多个任务中取得了更好的性能。

本研究提出了一种新的预训练策略HELM，解决了现有mRNA语言模型未能考虑密码子结构层次特性的问题。HELM在多个任务中性能提升约8%，并能生成多样化的mRNA序列，显示出其在生物信息学中的重要价值。

本文探讨了多语句子编码器在不同预训练策略下对语言特性的表征，特别是语法一致性和形态句法特征的影响。研究发现，掩码语言模型和自回归模型在主谓一致性处理上存在差异，多语言模型在不同语言的编码表现出显著差异。这些发现为未来语言模型的训练和优化提供了重要参考。

本文提出了一种预训练策略和自监督方法，用于图数据集，通过预训练GNN来提高下游任务的泛化性能。研究结果表明，在多个图分类数据集上，该方法在分子性质预测和蛋白质功能预测方面取得了最先进的性能。

该研究提出了一种新颖的非自回归框架，用于口音转换，通过学习口音无关的语言表示并使用它们来转换源语音中的口音，从而保留说话者的身份。研究还调查了在我们提出的框架中的本地数据和不同声学特征的预训练策略的有效性，并使用主客观度量来全面评估了我们方法的性能。评估结果突出了预训练策略和丰富的语义特征的益处，显著提高了音频质量和可理解性。

本文比较分析了音频理解模型预训练策略的影响，发现有监督模型在大规模音乐数据集上训练能实现最先进的性能，无监督模型在某些情况下也能表现出较高的效率和通用性。

该研究提出了一种新颖的非自回归框架用于口音转换，通过学习口音无关的语言表示并使用它们来转换源语音中的口音，从而保留说话者的身份。研究还调查了在我们提出的框架中的本地数据和不同声学特征的预训练策略的有效性，并使用主客观度量来全面评估了我们方法的性能。评估结果突出了预训练策略和丰富的语义特征的益处，显著提高了音频质量和可理解性。

本文介绍了一种基于Transformer的框架（FaultFormer），用于预测轴承故障。通过数据增强和傅里叶模态提取方法，训练了一个Transformer编码器，实现了最先进的准确度。同时，提出了两种预训练策略，为大型可推广Transformer的开发铺平了道路。

使用CONTRASTE作为一种基于对比学习的新型预训练策略，提高了ASTA的性能，并在其他ABSA任务上展示了优势。通过多任务方法进行细调，实现了最佳结果。

PAL框架将人类偏好多样性融入预训练策略，通过学习奖励函数提高建模效率。实验证明PAL能达到竞争性奖励模型准确性，并呼吁采用更细致的数据收集方法。

本文介绍了一种基于Transformer的框架（FaultFormer），用于预测轴承故障。通过数据增强和提取傅里叶模态的方法，训练了一个Transformer编码器，实现了最先进的准确度。同时，分析了注意机制和模型输出，确认了Transformer自动提取信号特征和学习全局和局部关系的能力。最后，提出了两种预训练策略，为大型可推广Transformer的开发铺平了道路，使其能够适应生产现场的新数据、情况或机械设备。

使用CONTRASTE作为一种新型预训练策略，提高了ASTA的性能，并在其他ABSA任务上展示了优势。通过多任务方法进行细调，实现了ASTA的最佳结果。

本文介绍了一种基于Transformer的框架（FaultFormer），用于预测轴承故障。通过数据增强和傅里叶模态提取方法，训练了一个高准确度的Transformer编码器。同时，提出了两种预训练策略，为大型可推广Transformer的开发铺平了道路。

本文介绍了一种基于Transformer的框架（FaultFormer），用于预测轴承故障。通过数据增强和傅里叶模态提取方法，训练了一个高准确度的Transformer编码器。同时，提出了两种预训练策略，为大型可推广Transformer的开发铺平了道路。