【在线回放】NVIDIA GTC 2024 大会 | 如何降低 AI 工程成本？蚂蚁从训练到推理的全栈实践
内容提要
蚂蚁集团在AI工程领域的实践经验和开源项目。包括DLRover、分布式推理引擎、GLake和模型优化器。DLRover提高了训练效率和稳定性。分布式推理引擎提供了多种特性。GLake在显存和传输优化方面取得了显著效果。模型优化器用于资源节约、模型泛化能力和加速收敛。蚂蚁集团鼓励开源共建和分享。
延伸解读
AI工程的核心挑战与蚂蚁的应对思路
文章指出，AI工程面临模型参数指数增长带来的算力需求激增、训练与推理成本高企、分布式系统稳定性要求严苛以及开源技术选型复杂等挑战。蚂蚁集团以全栈战略应对，覆盖使用层、平台产品层、引擎结构和异构AI集群，并开源了DLRover、GLake和模型优化器，旨在通过工程与算法结合降低试错成本、提升资源效率。
DLRover如何提升大规模训练效率与稳定性
DLRover通过深度解耦算法研发与训练框架、中心化资源调度、引擎优化和AI for Sys等特性，实现自动并行与资源自动配置。实践数据显示，其将训练作业成功率提升至96%，千亿参数千卡并行训练下HFU超过60%，有效训练时长占比达97%以上，最优可达99.4%。TFPlus扩展库还通过分层embedding存储，在万亿级模型预训练中节约内存80%以上。
推理与显存优化的关键实践
蚂蚁采用ONNX路线统一支持LLM和搜推模型推理，集成Continuous Batching、LookAhead、FlashAttention等特性。在百亿参数模型上，使用两张NVIDIA A10 GPU并行推理，吞吐量超过每秒560 tokens，首次响应延迟低于200毫秒。GLake则通过显存池化、层次化管理和碎片优化，使大模型训练吞吐量提高近四倍，数据传输速率提升3到12倍，并能与DeepSpeed、Megatron-LM、vLLM等开源框架协同。
模型优化器的差异化价值
蚂蚁推出三种优化器：Group Optimizer实现无损压缩，压缩率超80%，适用于在线学习；WSAM通过将平整度作为正则化项提升泛化能力，在营销场景中使GMV提高近30%；AGD借鉴拟二阶优化思想加速收敛，在GPT-2模型上收敛速度提高1.5倍。这些优化器分别针对资源节约、泛化提升和训练加速，体现了工程与算法结合的系统性优化思路。
Q&A
蚂蚁集团在AI工程领域有哪些开源项目？
蚂蚁集团在AI工程领域的开源项目包括DLRover、分布式推理引擎、GLake和模型优化器。
DLRover的主要功能是什么？
DLRover主要用于提高大规模分布式训练的效率和稳定性，支持主动并行和资源自动配置。
GLake在显存和数据传输方面有什么优势？
GLake在显存池化和数据传输优化方面表现出色，吞吐量提高近四倍，数据传输速率提高3到12倍。
蚂蚁集团如何应对AI工程中的成本问题？
蚂蚁集团通过优化训练过程和提高试验效率来降低AI工程的训练和推理成本。
模型优化器的作用是什么？
模型优化器用于节约资源、提高模型的泛化能力和加速收敛过程。
蚂蚁集团在AI工程领域的开源精神是什么？
蚂蚁集团倡导开源共建与分享，鼓励从业者积极参与，推动AI工程和基础设施的发展。
