移动边缘计算中稳定的LLM训练资源分配
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了在移动边缘计算中高效训练大型语言模型（LLMs）所面临的资源分配与数据隐私问题。我们提出了一种协作训练框架，结合移动用户与边缘服务器的资源，以提高性能和效率，通过多目标优化方法降低能耗和延迟，同时增强模型的稳定性。模拟结果表明，该方法在多种移动环境中有效减少能耗和延迟，提高了LLM的可靠性。
MobileLLM通过深瘦架构和嵌入共享机制，在125M和350M模型上分别提升了2.7%和4.3%的准确度。即时分块权重共享方法不增加模型大小，仅带来微小延迟。MobileLLM-LS进一步提升了0.7%和0.8%的准确度。该模型在聊天基准测试中表现优异，接近LLaMA-v2 7B，展示了小型模型在常见设备上的能力。
