CroMo-Mixup: 提升增量式自我监督学习的跨模型表示
内容提要
本文介绍了CroSSL、TriMix、DiffMix等多种自监督学习和半监督学习的新方法，旨在提升模型在少量标注数据下的性能。这些方法在多模态学习、连续学习和分类准确率方面表现优于现有技术，尤其在低数据情况下效果显著。
延伸解读
低标注数据下的性能突破
文章指出，基于度量学习和一致性正则化的新方法仅需25%的监督数据即可超越全监督训练的SOTA方法。ColloSSL在低数据情况下，仅利用十分之一的标记数据即可优于全监督方法，F_1得分绝对增量最高达7.9%。这表明在标注成本高昂的场景中，自监督与半监督学习能显著降低对标注数据的依赖，同时保持甚至提升模型性能。
多模态与连续学习的效率优化
CroSSL通过遮蔽中间嵌入和跨模态聚合器处理缺失模态，无需预处理或负样本抽样，在多模态时间序列基准测试中优于先前SSL技术。分层冻结算法则通过分析任务相关性，显著提高连续学习的训练效率和内存效率，且不牺牲准确性。这些方法为多模态和连续学习场景提供了更高效的解决方案。
数据增强与伪标签的质量提升
TriMix通过数据线性插值生成虚拟嵌入，探索潜在空间扩充；DiffMix结合真实与合成图像增强跨图像表示学习；CCSSL采用类别聚类和图像对比改善伪标签质量。这些技术从数据增强和伪标签优化角度提升了自监督与半监督学习的性能，尤其在分类准确率上，基于插值的方法可提高5.3%以上。
Q&A
CroSSL方法是如何提升多模态学习性能的？
CroSSL通过遮蔽中间嵌入和跨模态聚合器实现全局嵌入，处理缺失模态，性能优于现有自监督学习技术。
TriMix算法在自我监督学习中有什么创新？
TriMix通过数据线性插值生成虚拟嵌入，积极探索潜在的空间扩充，表现良好。
DiffMix如何增强跨图像表示的学习？
DiffMix结合真实和合成图像，采用稳定扩散的变种来提高多种自监督学习方法的性能。
SAMix算法解决了哪些在线训练的问题？
SAMix通过MixUp生成目标函数，表现卓越，解决了在线训练的计算成本问题。
CCSSL方法如何改善伪标签质量？
CCSSL通过类别聚类和图像对比改善伪标签质量，并实现干净标签学习和减少噪声标签学习。
ColloSSL在低数据情况下的表现如何？
ColloSSL在低数据情况下表现优异，仅利用十分之一的标记数据即可优于全监督方法，F_1得分增量最高达7.9%。
