本研究提出了一种名为HEMA的双重记忆系统，旨在提高大型语言模型在长时间对话中的连贯性。HEMA结合了Compact Memory和基于余弦相似性的Vector Memory，实验结果显示其在300个回合对话中显著提升了事实回忆的准确率和连贯性。

本研究探讨了多语言模型在知识转移和事实回忆方面的局限性，发现其在不同语言间的知识转移效果不佳。研究提出了一个包含10,000个国家相关事实的基准，并引入新指标量化跨语言的事实回忆能力，强调模型需关注语言特定的事实可靠性。

本研究探讨了变压器模型在事实回忆中的潜力与局限，提出了一种创新的浅层变压器方法，证明其存储容量与参数呈线性关系，并在合成任务中实现了100%的准确率，具有重要意义。

本文研究了神经比例定律在自然语言处理中的应用，探讨了模型扩展对核心能力的影响。研究发现，减少模型大小会显著降低事实回忆能力，但对上下文处理影响较小。同时，提出了计算最优的扩展策略，显著提高了模型在复杂提示上的表现，并强调了利用中间检查点提高预测准确性的重要性。