【在线回放】NVIDIA GTC 2024 大会 | 如何降低 AI 工程成本?蚂蚁从训练到推理的全栈实践
在 GTC 2024 大会 China AI Day 线上专场的演讲。在演讲中张科分享了 AI 工程当前的现状和主要挑战,以及蚂蚁集团在 AI 工程领域的实践经验和开源项目
蚂蚁集团在AI工程领域的实践经验和开源项目。包括DLRover、分布式推理引擎、GLake和模型优化器。DLRover提高了训练效率和稳定性。分布式推理引擎提供了多种特性。GLake在显存和传输优化方面取得了显著效果。模型优化器用于资源节约、模型泛化能力和加速收敛。蚂蚁集团鼓励开源共建和分享。