腾讯混元大模型负责人王迪：揭秘万亿 MoE 系统工程之道｜智者访谈
原文中文，约17000字，阅读约需41分钟。
📝
内容提要
腾讯机器学习平台部总经理王迪表示，构建异构卡的集群是一个有潜力的方向，但需要解决卡间和机间互联问题，以及不同卡之间的编译环境和训练策略的统一。腾讯将持续增加在AI基础设施方面的投入，但百万卡的实现可能需要时间。未来的发展趋势是AI算力集群化和规模化，用户更关注计算能力和通信带宽。
❓
Q&A
腾讯在AI基础设施方面的未来发展趋势是什么？
腾讯未来将朝着AI算力集群化和规模化发展，用户更关注计算能力和通信带宽。
王迪提到的MoE架构面临哪些挑战？
MoE架构需解决训练效率和专家平衡问题，未来还需优化训练过程。
腾讯为何选择自研大模型而非使用开源模型？
腾讯希望探索底层技术，避免依赖开源模型的潜在问题，确保技术的掌控。
构建异构卡集群的潜力和挑战是什么？
异构卡集群有潜力提升算力，但需解决卡间互联和编译环境统一的问题。
腾讯的混元大模型支持了多少个业务？
混元大模型在公司内部支持近700个业务，推动全链路接入提升效率。
王迪如何看待小模型的趋势？
小模型成为趋势是需求导向，需保障小模型效果良好，适应不同应用场景。
🏷️
