本研究提出了一种新颖的ViT-2SPN框架，旨在解决OCT诊断工具面临的数据集不足和隐私问题。通过自监督预训练，该方法在OCTMNIST数据集上实现了0.93的平均AUC和0.77的准确率，显著优于现有技术。

本研究提出了 J-Net 深度学习模型，旨在解决神经退行性疾病患者在不自主运动情况下的步态检测难题。通过自监督预训练和微调，该模型显著提升了步态检测的准确性，为相关研究提供了新资源。

神经场在计算机视觉和机器人技术中表现优异，通过自监督预训练生成三维表示。我们使用遮盖的自动编码器和三维Swin Transformer提取场景的显式表示。预训练后，模型在三维任务上表现出色，AP50和AP25性能分别提升超过20%和8%。

我们提出了一种新的时间序列分析架构，利用自监督预训练模型进行定制和微调，提升预测和插补任务的表现。该架构有效处理缺失数据和异常值，显著提高了插补和预测精度，并大幅减少了可训练参数。

本研究提出了一种自监督预训练技术，通过优化提示压缩解决模型迁移性不足的问题。Selection-p在多个分类任务中表现优异，压缩率达10倍，性能仅下降0.8%，并在不同模型间具有更好的迁移性。

研究评估了心血管磁共振电影分割中的自监督预训练方法。结果表明，在标记数据稀缺时，自监督预训练能显著提升分割性能；但在数据充足时，对现有方法无明显提升。该研究为心血管成像自动化提供了新思路。

本文介绍了一种新的音频-视觉视频解析（AVVP）任务的方法，该方法将音频和视觉模态中的事件分开，并同时检测这些事件的开始和结束。通过对抗性训练、全局上下文知觉关注和自监督预训练，获得了跨模态的音频-视频表示。实验结果表明该方法在AVVP任务上优于HAN模型。

飞桨社区开发者肖淙曦和周景博在KDD2024上发表了论文《ReFound: Crafting a Foundation Model for Urban Region Understanding upon Language and Visual Foundations》，该研究构建了一个通用城市区域理解任务的基础模型，能够应用于多种下游任务。通过自监督预训练和知识蒸馏，该模型能够从多模态城市数据中学习领域知识，并提升泛化能力。实验证明该模型在不同下游任务中表现出色。相关代码已在PaddleSpatial平台上开源。

本文重新评估了场景文字识别（STR）的性能，并提出了一个大规模的真实STR数据集Union14M。实验证明STR在真实场景中仍面临许多挑战。作者通过分析模型的错误模式确定了STR领域的七个难题，并构建了一个以挑战为驱动的基准。作者发现自监督预训练可以显著提高STR模型在真实场景中的鲁棒性。

自监督预训练在医学图像诊断任务中提高了特征表示，尤其在无标注样本数量较多时。综述了X射线、CT、MRI和超声成像领域中的研究，发现自监督预训练普遍提高了诊断任务性能。建议结合临床知识与自监督学习，评估公共数据集，扩展超声成像领域研究，研究自监督预训练对泛化性能的影响。

神经场在计算机视觉和机器人技术中表现出色，能够理解三维视觉世界。研究者使用神经场进行自监督预训练，生成有效的三维表示，并应用于特定形式的训练。他们的方法在各种具有挑战性的三维任务上表现出色，提升了三维物体检测的绝对性能。

神经场在计算机视觉和机器人技术中表现出色，能够理解三维视觉世界。研究者使用神经场进行自监督预训练，然后将标准的三维视觉Transformer应用于NeRF来进行特定形式的训练。他们的方法在各种具有挑战性的三维任务上表现出色。

本研究通过自监督预训练在特定领域数据集上探究其对3D语义分割模型的影响。使用AMAES在提出的数据集上进行预训练显著提高了分割性能。可在GitHub获取复现结果的代码、模型检查点和BRAINS-45K数据集。

本研究介绍了一种基于弥散模型的自监督预训练协议，用于X射线图像中的地标检测。结果表明该自监督框架在少量可用的已注释训练图像上能够提供准确的地标检测，优于ImageNet有监督预训练和最先进的自监督预训练方法。这是首次探索了弥散模型在自监督学习中应用于地标检测，有望成为缓解数据稀缺问题的宝贵预训练方法。

本文介绍了神经形态动力对比学习（NeuroMoCo）方法，通过自监督预训练激发脉冲神经网络潜力，使用MixInfoNCE损失函数提高神经形态数据集分类准确性。实验证明取得新的最先进结果。

通过自监督预训练生成适用于肺部超声分析的神经网络特征提取器，提高了受试者工作特性曲线面积。紧凑非线性分类器在预训练模型输出的特征上训练，推理时间缩短了49%。自监督预训练在仅使用1%标签进行训练时优于全监督模型。自监督预训练有助于生成肺部超声分类器的初始权重。

本文研究了文档文本识别的自监督预训练方法，提出了基于掩码标签预测的自监督预训练方法，并探索了联合嵌入方法和模型崩溃预防技术。实验结果显示，自监督预训练在目标领域数据上有效，但在相关领域的迁移学习上表现不佳。