华为开源Omni-Infer项目，旨在优化超大规模混合专家网络（MoE）推理。该项目提供推理框架和加速套件，支持高效部署和资源管理，兼容主流开源框架，降低维护成本，促进AI开源生态发展，期待与更多项目合作。

本研究提出GRAPHMOE方法，通过自我反思机制提升混合专家网络性能，实验结果表明其在语言模型推理能力上优于其他LoRA模型。