COMET: Fine-Grained Computation-Communication Overlap for Mixture-of-Experts

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了COMET系统,通过数据依赖性分析和任务重调度,优化了混合专家模型在分布式环境中的通信开销,实现了计算与通信的重叠,从而显著加速了模型执行。

🏷️

标签

➡️

继续阅读