本文综述自监督学习研究，涵盖多项进展：自适应批融合提升ImageNet性能；40ms上下文最利于声学预训练；显式量化助小数据语音识别；梯度噪声可预测最佳批大小；80亿参数Conformer仅用3%数据达SoTA；渐变缓存降低内存；性别平衡预训练未必最优；低资源下小批量更佳。

本文研究自我监督对比学习中的两个关键因素：批大小和预设任务，并提出了一种自适应的批融合技术，通过降维和重构批数据，增强自我监督特征编码能力。实证结果表明该方法在 ImageNet-1k 上实现了最先进的性能，在 ImageNet-100 上相对于原始性能提高了最多1.25％。该方法可能有助于数据驱动的自我监督学习研究的进展，并为该领域带来新的视角。