谷歌的JEST算法自动化AI训练数据集筛选并减少计算量
原文英文，约600词，阅读约需2分钟。发表于：。Google DeepMind recently published a new algorithm for curating AI training datasets: multimodal contrastive learning with joint example selection (JEST), which uses a pre-trained model to score...
Google DeepMind发布了新算法JEST，用于筛选AI训练数据集。JEST使用预训练模型评分数据批次的可学习性，实验证明JEST筛选的模型计算量比基准方法少10倍。JEST自动化筛选训练数据集，找到对学习模型而言损失高但对参考模型而言损失低的批次。研究团队发现JEST提高了批次质量。JEST使用模型近似进行高效评分，通过删除层或图像补丁提高效率。DeepMind团队多次实验证明JEST在相同性能下减少了10倍训练FLOPS。
