我们提出了一种在线数据选择策略来加速大规模预训练，减少模型性能所需的计算量并提高效率。在训练视觉分类器和多模态模型时，我们的方法分别减少了46％和51％的训练更新次数和25％的总计算量。在大规模图像-文本数据集上实现了新的最优效果。