1 位 LLMs 的时代：所有大型语言模型都在 1.58 比特

MobileLLM是一种强基线网络，通过设计深而瘦的体系结构以及嵌入共享和分组查询注意机制，在先前的最先进模型上获得了准确度提升。MobileLLM-LS模型进一步提升了准确度。MobileLLM模型系列在聊天基准测试中有显著提升，并在API调用任务中表现出接近LLaMA-v2 7B的正确性。