本研究提出了一种名为BM-MAE的遮挡图像建模预训练策略，旨在解决多模态医学影像中的缺失模态问题。该方法提高了医疗成像的资源利用效率，并在多项任务中优于传统的单模态预训练方法，展示了其实际应用价值。

本研究探讨了视觉语言模型在尤文肉瘤（ES）诊断中的应用，分析了不同预训练策略在数字化组织微阵列中区分ES与其他肿瘤的能力。结果显示，视觉语言监督（VLS）显著提高了诊断准确性，具有重要的临床应用潜力。

本研究提出了一种新型无编码器多模态大语言模型SynerGen-VL，采用令牌折叠机制和视觉专家的预训练策略，简化了模型架构和训练流程，支持高分辨率图像理解。经过训练，SynerGen-VL的性能与现有模型相当或更佳，展现了统一多模态模型的潜力。

本文提出了一种双层联合无监督与监督训练（BL-JUST）框架，旨在改进传统的预训练与微调策略。该方法通过同时最小化无监督与监督的损失函数，提升声学模型的通用性和任务特定性。研究表明，BL-JUST在多个数据集和架构下表现优于传统策略和半监督技术。

本研究提出了一种新的预训练策略GRAIN，旨在提升视觉语言模型在细粒度实体识别和未见概念的零-shot性能。通过对齐文本描述和图像表示，模型在识别新概念和其他任务中的检索性能显著提高。

本研究提出了一种新型预训练策略，强调氨基酸残基间的相互作用，提升了从序列数据中提取共演化特征的能力。实验结果表明，该模型在多个基准任务中表现优异，标志着蛋白质序列建模的重大进展。

本研究提出了一种主动遗忘的预训练策略，以提升解码器语言模型在非英语语言上的表现。实验结果表明，该方法有效增强了模型的跨语言迁移能力，改善了多语言表示，从而在多个任务中取得了更好的性能。

本研究提出了一种新的预训练策略HELM，解决了现有mRNA语言模型未能考虑密码子结构层次特性的问题。HELM在多个任务中性能提升约8%，并能生成多样化的mRNA序列，显示出其在生物信息学中的重要价值。

本文探讨了多语句子编码器在不同预训练策略下对语言特性的表征，特别是语法一致性和形态句法特征的影响。研究发现，掩码语言模型和自回归模型在主谓一致性处理上存在差异，多语言模型在不同语言的编码表现出显著差异。这些发现为未来语言模型的训练和优化提供了重要参考。

本文提出了一种针对图数据集的预训练策略和自监督方法，以提高图神经网络（GNN）在分子性质预测和蛋白质功能预测中的表现。研究表明，这些方法在多个蛋白质相关任务中取得了最先进的性能，显著提升了泛化能力和鲁棒性。

本文提出了一种针对医学图像的视觉问答模型LaPA，结合多模态提示生成和领域特定预训练策略，显著提高了在多个医学视觉问答数据集上的准确率，解决了数据集规模小和诊断性能不足的问题。实验结果表明，该模型在VQA-RAD、SLAKE和VQA-2019上超越了现有最先进模型。

本文提出了一种基于Transformer的框架（FaultFormer），用于分析振动信号以预测轴承故障。通过数据增强和傅里叶模态提取，训练了Transformer编码器，提升了预测准确度。此外，研究还提出了预训练策略，以适应新数据和设备。

本文探讨了多语言模型中的词汇容量和预训练策略，提出通过扩展词汇表、使用双语数据和构建高质量指令数据集来提升低资源语言的表现。研究表明，简单的词向量初始化方法在资源有限的环境中更有效，且句子级词汇表方法在英法翻译中优于传统大词汇表系统。

本文研究了零样本多标签文档分类在HR领域的应用，实验结果显示其平均精度比传统分类器高12%。提出的两阶段框架结合数据和特征扩充，利用语义知识结构，显著提高了分类准确率。同时，研究探讨了预训练策略和加权最大间隔框架在零样本学习中的应用，取得了良好效果。

该论文提出了一种图形遮盖的预训练策略，显著提升了图到文本生成任务中的模型效果，尤其在零样本学习场景中表现优越。

本文探讨了一种新的预训练策略，通过继续训练 BART 模型生成简单文本，以提高简化任务的表现。研究表明，大型语言模型（LLMs）在句子简化方面优于传统方法，并提出了一种结合词汇和深度学习技术的透明文本简化流水线。实验结果显示，LLMs 在儿童教育材料生成和文本分类任务中表现出色，尤其在低资源场景下，新型词汇简化方法有效提升了性能。

本文介绍了一种基于Transformer的框架（FaultFormer），用于预测轴承故障。通过数据增强和傅里叶模态提取方法，训练了一个高准确度的Transformer编码器。同时，提出了两种预训练策略，为大型可推广Transformer的开发铺平了道路。

本文介绍了一种基于Transformer的框架（FaultFormer），用于预测轴承故障。通过数据增强和傅里叶模态提取方法，训练了一个高准确度的Transformer编码器。同时，提出了两种预训练策略，为大型可推广Transformer的开发铺平了道路。

本文提出了一种新的叙述引导的预训练策略，利用电影字幕和简介构建对话-叙述并行语料库，并用BART模型进行预训练。实验结果表明，该方法在零-shot性能和对话理解能力方面表现出优越性。