利用序列顺序回忆任务评估大型语言模型的情节记忆
原文中文，约300字，阅读约需1分钟。发表于：。本研究面对大型语言模型（LLMs）在情节记忆评估方面的缺口，提出了序列顺序回忆任务（SORT），该任务改编自认知心理学中的情节记忆研究。通过初步评估数据集Book-SORT，研究表明，当相关文本在评估时提供在上下文中，模型能够高效地完成任务，但仅在训练时提供书籍文本时，其性能显著降低。SORT的引入为评价记忆的更多方面提供了新的方法，有助于记忆增强模型的发展。
本研究提出序列顺序回忆任务（SORT），用于评估大型语言模型的情节记忆能力。通过Book-SORT数据集测试发现，模型在有上下文时表现良好，但在仅有训练文本时表现较差。SORT为记忆评估提供了新方法，助力记忆增强模型的发展。
