大模型推动人工智能领域的分布式训练技术升级。飞桨框架3.0引入自动并行技术，简化开发流程，降低成本，支持多种并行策略，提升训练性能。开发者通过少量代码即可实现高效的分布式训练，显著提高开发效率和模型性能。

本研究提出了一种新方法，深入探讨浮点量化对大规模语言模型训练性能的影响，发现最佳精度与计算能力成正比，为硬件制造商提供了优化建议。

百度在Wave Summit 2023深度学习开发者大会上分享了PaddleMIX，一套完整的大模型开发工具链，具备一站式模型的开发体验、极致的训练、推理性能，同时保持生态的兼容。PaddleMIX通过一系列优化实现了超越Pytorch的训练和推理性能。

DEFT是一种新颖的梯度稀疏化方案，将梯度选择任务划分为子任务并分配给工作节点，可以减少计算成本和消除梯度累积。实证评估表明，DEFT相对于现有的稀疏化方法在梯度选择的速度方面显示出显著的训练性能改进，同时实现了高收敛性能。

阿里云机器学习平台PAI与北京大学杨智老师团队合作的论文《GoldMiner: Elastic Scaling of Training Data Pre-Processing Pipelines for Deep Learning》被数据库领域顶会SIGMOD 2023接收。GoldMiner通过分离数据预处理流水线和模型训练部分，实现了高效的并行加速和弹性伸缩，解决了数据预处理瓶颈问题，提升训练性能。该论文通过自动计算图分析识别无状态的数据预处理计算，并利用无状态性实现了自动化的图切分和数据传递，提供了动态调整资源的data worker调度器。在真实推荐模型上的评测中，GoldMiner可为用户模型加速1.43倍，并削减13%的训练成本。