DeepMind新方法：训练时间减少13倍，算力降低90%
内容提要
DeepMind团队提出了一种新的数据筛选方法JEST，可以将AI训练时间减少13倍，算力需求降低90%。该方法通过选择最佳数据批次进行训练，提高了训练效率和效果。研究结果显示，JEST大幅加速了大规模多模态预训练，迭代次数和浮点运算次数减少了10倍。新方法的运作过程是从一个更大的候选数据集中选择最佳的训练数据批次。团队成员进一步解释了多模态对比学习的过程和JEST的具体实现。该研究对于改变AI训练的游戏规则具有重要意义。
延伸解读
JEST如何实现高效数据筛选
JEST的核心在于联合选择最佳数据批次，而非单个数据点。它利用预训练参考模型和当前学习模型的损失差异，挑选那些对参考模型容易但对学习模型较难的数据点，以此提升训练效率。这种方法通过基于阻塞吉布斯采样的迭代过程构建批次，并采用多分辨率训练来协调评分，从而在减少计算量的同时保持高性能。
算力节省的实际意义
JEST将训练时间减少13倍，算力需求降低90%，迭代次数和浮点运算次数减少10倍。这意味着在相同算力预算下，可以训练更大的模型或使用更多数据。对于担心AI能耗的电网和计算资源有限的团队，这提供了一种更可持续的训练路径，有望降低大规模多模态预训练的门槛。
性能优势与数据管理简化
JEST++和FlexiJEST++在多个基准测试中显著优于先前SOTA模型，且计算量更少。研究还发现，JEST++可以消除对预训练数据集的筛选需求，直接在原始网络规模数据上训练，性能几乎不下降。这简化了数据管理流程，为未来大规模预训练提供了更高效的解决方案。
Q&A
JEST方法如何提高AI训练效率？
JEST通过选择最佳数据批次进行训练，显著提高了训练效率和效果。
JEST方法相比于传统数据筛选方法有什么优势？
JEST方法速度更快、成本更低，并且能有效提升多模态学习的效率。
使用JEST方法能减少多少训练时间和算力需求？
使用JEST方法可以将AI训练时间减少13倍，算力需求降低90%。
JEST方法的实现过程中有哪些关键因素？
关键因素包括选择好的数据批次、调整ADAM超参数和使用高质量参考数据集。
JEST++和FlexiJEST++与其他模型相比有什么优势？
JEST++和FlexiJEST++在性能上显著优于许多先前的SOTA模型，同时计算量更少。
JEST方法如何影响多模态学习的效率？
JEST通过有效选择数据批次，提升了多模态学习的效率，减少了迭代次数和计算量。
