本研究提出了一种名为HEMA的双重记忆系统，旨在提高大型语言模型在长时间对话中的连贯性。HEMA结合了Compact Memory和基于余弦相似性的Vector Memory，实验结果显示其在300个回合对话中显著提升了事实回忆的准确率和连贯性。

本研究探讨了多语言模型在知识转移和事实回忆方面的局限性，发现其在不同语言间的知识转移效果不佳。研究建立了一个包含10,000个国家相关事实的基准，并引入三个新指标来量化跨语言的事实回忆和知识转移能力，揭示了现有模型的基本弱点。

本研究探讨了变压器模型在事实回忆中的潜力与局限，提出了一种创新的浅层变压器方法，证明其存储容量与参数呈线性关系，并在合成任务中实现了100%的准确率，具有重要意义。