该论文提出了一种新的系统和方法，用于开发高效大型语言模型。研究发现了允许模型不同部分共享参数的新方法，从而减少所需的唯一参数总数。该方法确保了模型在保持紧凑的同时不牺牲其学习和表示复杂语言结构的能力。该研究为创建更高效和有效的大型语言模型提供了宝贵的见解和工具。

研究发现多模型遗忘现象，即在训练多个具有部分共享参数的深度网络时，之前训练的模型性能会下降。通过引入权重可塑性损失，对共享参数进行正则化学习，证明了在训练两个模型和神经架构搜索中的有效性。添加权重可塑性到神经架构搜索可提高结果。

该论文提出了一种名为SortedNet的深度学习模型，通过利用深度神经网络的内在模块化性质，实现了高效动态推断。该方法考虑了子模型的嵌套架构和共享参数，并以排序和概率的方式一起训练主模型和子模型。实验证明了该方法的有效性和可扩展性。

本文介绍了分组查询注意力和多查询注意力两种注意力机制，前者通过共享键和值矩阵减少内存成本，后者让所有头共享同一份键和值矩阵，每个头只保留一份查询参数，从而减少参数量。两种注意力机制的区别在于建立Wqkv层的方式。