深度学习弹性数据流水线系统 GoldMiner，大幅提升任务和集群效率

阿里云机器学习平台PAI与北京大学杨智老师团队合作的论文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被数据库领域顶会SIGMOD 2023接收。GoldMiner通过分离数据预处理流水线和模型训练部分，实现了高效的并行加速和弹性伸缩，解决了数据预处理瓶颈问题，提升训练性能。该论文通过自动计算图分析识别无状态的数据预处理计算，并利用无状态性实现了自动化的图切分和数据传递，提供了动态调整资源的data worker调度器。在真实推荐模型上的评测中，GoldMiner可为用户模型加速1.43倍，并削减13%的训练成本。