本文综述迁移学习在医学图像分类中的进展。ImageNet预训练因领域差异增益有限;FLAIR等视觉-语言基础模型直接迁移可提升2.5%,微调后达4%;自监督预训练在医学领域可媲美或超越ImageNet。相关研究将其应用于视网膜病变、脑血管分割、胶质瘤分类、COVID-19诊断及乳腺癌病理分类,并探索半监督、域自适应与对比变分自编码器等方法。
RoboFlamingo是一个开源机器人操作模型,利用大型视觉-语言基础模型进行训练,能够在复杂的机器人操作任务中表现出色。RoboFlamingo通过视觉编码器、特征融合解码器和策略头部三个模块实现机器人每一步的动作预测。实验结果显示,RoboFlamingo在各种设置和指标上的性能都很好。这项工作为机器人技术研究者提供了一个强大的开源框架,能够更容易地发挥开源视觉-语言模型的潜能。
本文介绍了一种高效的视觉-语言基础模型EVE,通过统一的预训练任务,在共享的Transformer网络中编码了视觉和语言,并利用稀疏的Mixture-of-Experts模块捕捉模态特定信息。EVE通过遮蔽信号建模实现了图像像素和文本标记的信号重构,从而实现了快速训练和更好的下游性能。
完成下面两步后,将自动完成登录并继续当前操作。