阿里云机器学习平台PAI与北京大学杨智老师团队合作的论文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被数据库领域顶会SIGMOD 2023接收。GoldMiner通过分离数据预处理流水线和模型训练部分,实现了高效的并行加速和弹性伸缩,解决了数据预处理瓶颈问题,提升训练性能。该论文通过自动计算图分析识别无状态的数据预处理计算,并利用无状态性实现了自动化的图切分和数据传递,提供了动态调整资源的data worker调度器。在真实推荐模型上的评测中,GoldMiner可为用户模型加速1.43倍,并削减13%的训练成本。
完成下面两步后,将自动完成登录并继续当前操作。