无线分布式专家混合模型用于大语言模型

本研究探讨了大型语言模型在成本高效的推理和微调方面的方法，并比较了本地和分布式策略。

开发了特殊的容错推理算法和负载平衡协议，用于自动分配设备以最大化系统总吞吐量。

提出了一种新颖的负载均衡和局部性相结合的路由策略，减少了每轮训练时间约12.68%至22.24%。

设计了一个可以高效编排多个专家模型的系统，以增强大规模部署和提供大语言模型的能力。

基于混合专家模型的无线分布式大型语言模型通过在边缘服务器上协作部署，提升了性能并降低了延迟。

引入了一种基于强化学习的新框架，优化了无线通信网络的部署。

提出了LocMoE+，通过量化和自适应路由策略提高了训练效率，性能提升了9.7%至14.1%。

提出的层级递归路由器有效提升了专家选择的准确性和多样性，显示出在大规模语言模型中的应用潜力。

分析了设备受限环境下运行大型语言模型的挑战，提出了高效架构及压缩技术等创新解决方案。

提出的Read-ME框架显著提升了模型的效率和性能，MMLU测试提高了10.1%，端到端延迟降低了6.1%。