通过联合示例选择进一步加速多模态学习
原文中文,约400字,阅读约需1分钟。发表于: 。数据策展是大规模预训练的重要组成部分。本文中,我们证明了联合选择数据批次比独立选择示例更有效,并且多模态对比目标揭示了数据之间的依赖关系,从而自然地产生衡量批次联合可学习性的标准。我们推导出一种简单易行的选择这类批次的算法,通过它可以明显提高训练速度,超过目前技术水平的模型,在少达 13 倍的迭代次数和 10 倍的计算量下。JEST...
我们提出了一种在线数据选择策略来加速大规模预训练,减少模型性能所需的计算量并提高效率。在训练视觉分类器和多模态模型时,我们的方法分别减少了46%和51%的训练更新次数和25%的总计算量。在大规模图像-文本数据集上实现了新的最优效果。