自监督学习使得在无需手动标注数据集的情况下训练神经网络成为可能。通过定义基于数据的预训练任务，自动生成标签并训练编码器以获取表示，这些表示可用于下游任务。常见的预训练任务包括图像补全、旋转预测和对比学习。模型性能评估方法包括线性评估、聚类和可视化。掩码自编码器（MAE）通过掩盖输入的部分补丁进行训练以重建图像，而对比表示学习则通过正负样本的评分函数优化编码器。

本研究提出了一种自监督学习方法，针对手绘图像，通过特定的预处理任务和文本卷积网络的双分支架构，显著提升了手绘图像的特征表示能力。研究探讨了自监督学习框架及其在手写认证中的应用，提出了基于笔画部分遮罩的预训练任务，成功实现了作者识别等任务的最新成果。

本文研究了嵌入式检索模型的预训练任务对Transformer模型的影响，提出了多种高效的检索技术，显著提升了信息检索和图像检索的性能，并在基准测试中取得了优异成绩。

本文探讨了自监督学习在音乐领域的应用，特别是对比学习在有限数据下的优越性能。研究回顾了多种预训练任务，分析了当前方法的局限性及未来发展方向，并提出了结合自监督与监督学习的框架。

本研究探讨大型语言模型（LLMs）在情境学习中的机制，发现其在任务识别和学习方面具有双重作用。研究表明，具有挑战性的训练数据能显著提升模型的学习能力，并提出了隐式情境学习（I2CL）范式，以增强模型在少样本任务中的表现和鲁棒性。此外，研究证实LLMs能够通过组合预训练任务来学习新任务，并探讨了数据生成视角下的技术统一性。

本文研究了Transformer模型在上下文学习中的应用，分析了样本复杂性、预训练任务多样性和上下文长度对上下文学习成功的影响。结果表明，随着预训练示例数量的增加，模型在低多样性下倾向于记忆训练任务，而在高多样性下能够实现真正的上下文学习。此外，提出了一种机制，使Transformer能够有效进行线性回归预测，并探讨了模型的贝叶斯最优性质及其在任务转移中的表现。

本文探讨了大型语言模型在逻辑等效代码选择任务中的表现，发现其效果不佳。为改善性能，提出了“下一个标记预测 +”的预训练任务，结果在逻辑等效代码选择和代码补全任务中显著提升。同时，研究显示大型语言模型在时间序列预测中表现出色，能够处理缺失数据并解释预测结果。

UC2是一种跨语言跨模态表示学习框架，通过机器翻译引入其他语言的图像标题，提出了两个新的预训练任务，实现了新的最先进状态。

该研究提出了一种基于笔画部分遮罩的预训练任务，用于从未标注的在线手写数据中提取信息丰富的表示。该方法适用于英语和汉语，并通过微调预训练模型实现了作者识别、性别分类和利手性分类等任务。该研究凸显了利用预训练模型的优点。

本文提出了GCL-GE指标来衡量图对比学习GCL的一般化能力，并设计了InfoAdv GCL框架，具有增强的一般化能力，在预训练任务适配和下游任务的一般化能力之间取得平衡，并在基准测试中表现出最先进的性能。

该论文介绍了使用预训练的语言模型LayoutLM提取商业文件信息的方法。通过引入新的预训练任务和后处理算法，模型可以更好地理解文档布局和数字值。实验结果表明，该方法显著提高了对支出收据、发票和采购订单的提取性能。

UC2是一个跨语言跨模态表示学习框架，通过引入其他语言的图像标题扩充数据集，提出两个新的预训练任务，实现了新的最先进状态。在多语言图像文本检索和多语言视觉问答基准上表现优异。

本文介绍了一种高效的视觉-语言基础模型EVE，通过统一的预训练任务，在共享的Transformer网络中编码了视觉和语言，并利用稀疏的Mixture-of-Experts模块捕捉模态特定信息。EVE通过遮蔽信号建模实现了图像像素和文本标记的信号重构，从而实现了快速训练和更好的下游性能。

CommerceMM是一种多模态模型，具备多种理解商业主题的能力，并可应用于多种任务。它使用预训练方式，在图像-文本对上完成了5个预训练任务，并提出了名为Omni-Retrieval的方法，用于9个新的跨模态和跨配对检索任务。结果显示，在7个商业相关的下游任务中，该模型在细调后实现了最先进的性能。