BriefGPT - AI 论文速递 · 2023-08-28T00:00:00Z EdgeMoE: 基于 MoE 的大规模语言模型的快速设备上推断 💡 原文中文，约300字，阅读约需1分钟。 📝 内容提要 EdgeMoE是面向边缘设备的第一个推理引擎，通过分割模型在存储层次结构中提高内存和计算效率。EdgeMoE使用创新技术降低I/O交换开销，相比竞争性基线解决方案，在内存节省和性能改进方面具有显著优势。 🏷️ 标签 EdgeMoE 内存节省 性能改进 推理引擎 语言模型 边缘设备 阅读原文 生成长图 分享链接 已复制链接
