MobiLlama：面向准确轻量级全透明的 GPT
内容提要
本文介绍MobileLLM，采用深瘦架构与分组查询注意力，在125M/350M模型上分别提升准确率2.7%和4.3%，并提出分块权重共享法。MobileLLM-LS进一步提升0.7%/0.8%，聊天与API调用表现接近LLaMA-v2 7B。
延伸解读
深瘦架构与分组查询注意力的设计动机
MobileLLM 采用深而瘦的架构，而非传统宽而浅的设计，旨在提升小模型的表达能力。同时引入分组查询注意力机制，在减少键值头数量的同时保持多头注意力的多样性，从而降低计算和内存开销。这种组合使 125M 和 350M 模型在准确率上分别提升 2.7% 和 4.3%，为轻量级模型设计提供了新思路。
分块权重共享：不增参数的精度提升
MobileLLM 提出即时的分块权重共享方法，在不增加模型大小且仅有微小延迟开销的前提下，进一步将 125M 和 350M 模型的准确率提升 0.7% 和 0.8%。这一技术表明，通过参数共享策略可以在有限资源下挖掘模型潜力，为移动端部署提供了更高效的选项。
小模型在聊天与API调用中的实用表现
MobileLLM 系列在聊天基准测试中显著优于之前的次十亿模型，并在 API 调用任务中表现出接近 LLaMA-v2 7B 的正确性。这突显了小型模型在常见设备使用情景中的能力，意味着在无需网络连接的情况下，移动设备也能执行复杂的语言任务，同时保护隐私并消除延迟。
Q&A
MobileLLM 是什么？它有什么主要特点？
MobileLLM 是一种强基线网络，通过设计深而瘦的体系结构以及嵌入共享和分组查询注意机制，在 125M/350M 参数规模上分别比先前最先进模型获得 2.7%/4.3% 的准确度提升。
MobileLLM 相比之前的小模型在准确率上提升了多少？
MobileLLM 在 125M 和 350M 模型上分别比先前最先进模型提升了 2.7% 和 4.3% 的准确率。
MobileLLM-LS 是什么？它比 MobileLLM 提升了多少？
MobileLLM-LS 是采用分块权重共享方法的模型，不增加模型大小且仅有微小的延迟开销，相比 MobileLLM 125M/350M 进一步提升了 0.7%/0.8% 的准确度。
MobileLLM 在聊天和 API 调用任务上的表现如何？
MobileLLM 模型系列在聊天基准测试中相较于之前的次十亿模型有显著提升，并在 API 调用任务中表现出接近 LLaMA-v2 7B 的正确性。
MobileLLM 使用了哪些关键技术来提升性能？
MobileLLM 使用了深而瘦的体系结构、嵌入共享和分组查询注意机制，以及分块权重共享方法（用于 MobileLLM-LS）。
MobileLLM 的研究意义是什么？
MobileLLM 突显了小型模型在常见设备使用情景中的能力，能够在无需网络连接的情况下直接在移动设备上执行，提供强大的人工智能能力，同时保护用户隐私并消除延迟问题。
