BriefGPT - AI 论文速递 · 2024-01-25T00:00:00Z

MoE-Infinity: 激活感知的专家卸载以提升 MoE 服务的效率

📝

内容提要

MoE-Infinity是一种成本高效的专家混合系统，通过卸载感知的专家来降低延迟开销，提高性价比。实验结果显示，MoE-Infinity优于现有系统和方法，延迟降低了4-20倍，部署成本降低了8倍以上。

🏷️

标签

MoE-Infinity 专家混合系统 延迟降低 成本高效 部署成本降低