本文介绍MobileLLM，采用深瘦架构与分组查询注意力，在125M/350M模型上分别提升准确率2.7%和4.3%，并提出分块权重共享法。MobileLLM-LS进一步提升0.7%/0.8%，聊天与API调用表现接近LLaMA-v2 7B。