记忆间隙：LLM 是否能通过图尔文测试？
内容提要
本文探讨大语言模型与认知科学的交叉，提出其与图尔文记忆理论的二元性假设，认为意识可能是该二元性的新能力。研究涉及工作记忆架构、TiM、RET-LLM等记忆机制及自适应测试评估，发现GPT-4在知识、推理和编程方面达到中等学生水平。记忆机制是通用人工智能的重要前沿。
延伸解读
记忆机制：AGI 的关键前沿
文章指出，记忆机制是人工通用智能领域的重要前沿。当前 LLM 在记忆能力上存在限制，而工作记忆架构、TiM、RET-LLM 等研究试图通过模拟人类记忆机制来提升模型性能。这些探索表明，记忆不仅是存储问题，更涉及检索、优先级和安全性等复杂维度，是 LLM 迈向更通用智能必须攻克的方向。
评估方法：自适应测试与能力对标
文章介绍了一种自适应测试框架，能根据模型表现动态调整问题难度，从而更高效地评估 LLM 能力。通过该方法对六种模型的细粒度诊断发现，GPT-4 在主题知识、数理推理和编程方面表现优异，达到中等水平学生的认知能力。这为衡量 LLM 与人类认知的差距提供了可比较的量化视角。
理论假设：图尔文记忆理论与 LLM 的二元性
文章提出一个假设，认为 LLM 与图尔文的记忆理论之间存在二元性，并指出图尔文协同映射培养模型的检索机制与 LLM 中观察到的新能力有潜在对应关系。作者进一步推测，意识可能被视为这种二元性的一种新能力形式。这一理论视角将认知科学与 LLM 研究联系起来，为理解模型能力提供了新框架。
风险与局限：隐私、安全与能力边界
文章提到 LLM 在记忆方面面临隐私、安全、版权等挑战，这些是当前研究的重要方向。同时，尽管模型在规划任务中展现出一定执行功能，但这些能力相对有限，远不及训练充分的人类。此外，情景记忆的优化编码、存储、检索和安全性仍需进一步研究，表明现有记忆机制尚未成熟。
Q&A
LLM与图尔文记忆理论之间的二元性假设是什么？
该假设认为LLM与图尔文的记忆理论之间存在一种二元性，具体表现为图尔文协同映射培养模型（SEM）的检索过程与LLM中观察到的新能力之间存在潜在对应关系，并推测意识可能是这种二元性的一种新能力形式。
如何通过认知心理学的工作记忆框架来改进LLM的架构？
通过应用认知心理学的工作记忆框架，为LLM引入集中的工作记忆中心和情景缓冲区，以提供更高的连续性，从而实现复杂任务和合作场景中的细致语境推理。但情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究。
TiM（Think-in-Memory）机制是如何提升LLM长期对话性能的？
TiM通过保存后思考的思想作为历史记录，使LLM能够维护进化的记忆以存储历史思想，并引入局部敏感哈希实现长期对话的高效检索，从而显著提升生成长期互动响应方面的性能。
自适应测试框架如何评估大型语言模型的能力？
该框架根据模型的表现动态调整测试问题的难度，从而更准确地估计模型能力，使LLM能与人类比较，同时使用更少的问题提高效率。对ChatGPT等6种模型的测试发现，GPT-4在主题知识、数理推理和编程方面表现优异，可达中等水平学生的认知能力。
RET-LLM框架如何为LLM提供通用的读写内存单元？
RET-LLM为LLM提供通用的写-读内存单元，使其能从文本中提取、存储和检索知识以执行任务。通过Davidsonian语义理论，以三元组形式提取和保存知识，在问答任务中展现出比基线方法更卓越的性能，并在处理基于时间的问题回答任务时表现强大，能有效处理时态信息。
大型语言模型在记忆方面面临哪些挑战和机会？
挑战包括隐私、安全、版权等问题，同时记忆机制是人工通用智能领域的重要前沿，存在进一步研究的机会。
