腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道｜智者访谈
内容提要
腾讯机器学习平台部总经理王迪表示，构建异构卡的集群是一个有潜力的方向，但需要解决卡间和机间互联问题，以及不同卡之间的编译环境和训练策略的统一。腾讯将持续增加在AI基础设施方面的投入，但百万卡的实现可能需要时间。未来的发展趋势是AI算力集群化和规模化，用户更关注计算能力和通信带宽。
延伸解读
异构算力集群：突破算力瓶颈的可行路径
王迪指出，构建异构卡集群是应对算力紧缺的潜力方向，但需解决卡间和机间互联问题，以及不同卡之间编译环境和训练策略的统一。腾讯通过星脉2.0高速网络和ABO统一编译层进行适配，并基于算力差异自动化设计并行策略。这为行业提供了整合多元算力的思路，但技术挑战依然显著。
MoE架构的工程挑战与优化方向
腾讯在万亿MoE实践中发现，专家路由应让模型自主学习而非人工指定，但MoE训练效率提升比dense模型更难，需平衡专家数量与激活效率，优化计算与通信配比。此外，专家平衡和长窗口训练也是未来重点。这些经验表明，MoE落地需在效果与效率间找到平衡点。
小模型趋势背后的需求逻辑
王迪认为，小模型兴起是需求导向，许多场景无需大模型的高延时。但做好小模型并不简单，需在数据、架构上独特工作，且需先具备做大模型的能力。腾讯会议从千亿模型精简到7B MoE的案例，体现了根据业务场景定制模型的重要性。
AI基础设施的未来：集群化与标准化
王迪展望，AI算力将走向集群化、规模化，用户将更关注计算Flops、显存和通信带宽，而非卡本身。腾讯通过潮汐调度提升利用率，并持续投入推理卡和底座模型。但百万卡集群尚需时间，务实推进万卡至十万卡是当前重点。
Q&A
腾讯在AI基础设施方面的未来发展趋势是什么？
腾讯未来将朝着AI算力集群化和规模化发展，用户更关注计算能力和通信带宽。
王迪提到的MoE架构面临哪些挑战？
MoE架构需解决训练效率和专家平衡问题，未来还需优化训练过程。
腾讯为何选择自研大模型而非使用开源模型？
腾讯希望探索底层技术，避免依赖开源模型的潜在问题，确保技术的掌控。
构建异构卡集群的潜力和挑战是什么？
异构卡集群有潜力提升算力，但需解决卡间互联和编译环境统一的问题。
腾讯的混元大模型支持了多少个业务？
混元大模型在公司内部支持近700个业务，推动全链路接入提升效率。
王迪如何看待小模型的趋势？
小模型成为趋势是需求导向，需保障小模型效果良好，适应不同应用场景。
