该研究提出了一种混合记忆架构（MoM），有效解决线性序列建模中的记忆状态压缩问题，显著提高了记忆容量并减少了干扰。实验结果表明，该方法在回忆任务上优于现有技术，接近Transformer的性能。

本文通过将关联记忆的能量函数视为负对数似然函数，建立了其与概率建模的联系。提出了基于能量的模型及两种新的关联记忆模型，研究了高斯内核密度估计器的记忆容量和transformers中的自注意力聚类。

本研究探讨了现代霍普菲尔德模型与核化霍普菲尔德模型的最优记忆容量，提出将记忆存储视为球形编码，发现KHMs在特征空间的最优容量提供了新视角，并开发了次线性时间算法，以提升检索能力和表示学习。

研究表明，变压器在记忆容量方面效率高，在下一令牌预测中可用$ ilde{O}(\sqrt{N})$参数有效记忆标签，输入长度影响小。在序列到序列设置中，$ ilde{O}(\sqrt{nN})$参数是充分且必要的，揭示了自注意力机制与前馈网络间的瓶颈。研究还分析了变压器组件对表达能力的影响，并提出基于Hopfield网络的理论框架解释注意力机制。

本研究填补了大型语言模型（LLMs）在记忆能力方面的理论空白，通过比较不同模型的记忆容量来验证LLMs的性能。研究揭示了LLMs与人脑在工作机制上的异同。