Meta研究人员的MobileLLM项目表明，小型模型的质量与参数数量无关，而是取决于架构设计。他们通过深度和薄型架构、共享嵌入及分组查询注意机制构建了多个模型，提升了准确性。研究发现，对于小型模型，增加深度比增加宽度更为重要。MobileLLM在多个任务中超越了以往模型，强调在移动设备上使用小型语言模型以降低云成本和能耗。

Meta 发布的 MobileLLM 是一组高效的小型语言模型，旨在优化移动设备的部署，减少对云资源的依赖。通过深而薄的架构和多项创新技术，MobileLLM 提供了竞争力的性能，降低了延迟和能耗。在零样本任务中表现优于同类模型，展现了在聊天和 API 调用等应用中的潜力。