8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

8万条群聊消息做成考卷:腾讯元宝×KCL发布首个基于群聊构建的Agent记忆基准

💡 原文中文,约2500字,阅读约需6分钟。
📝

内容提要

腾讯元宝与伦敦国王学院推出GroupAssistBench,基于50个真实群聊、8万余条消息构建2395道题,评测AI助手能否在群聊中正确使用记忆。研究发现,记忆召回强不等于服务好:部分系统L1得分高,但L2服务得分反低于完整上下文。团队提出RER和ACB两种轻量干预,提升记忆驱动服务表现,推动评测从“记得住”走向“用得好”。

🔎

延伸解读

记忆召回强不等于服务好

文章通过对比发现,EverMemOS在L1记忆召回得分0.621高于完整上下文的0.570,但L2服务得分0.247却低于完整上下文的0.431。这说明系统能找回历史信息,并不代表能在实际服务中正确使用。读者需注意,评估AI助手时不能只看记忆检索能力,更要关注其能否将记忆转化为符合约束的回复。

群聊记忆的独特挑战

真实群聊中,信息由不同成员补充、安排随讨论更新、回复需兼顾多人约束。GroupAssistBench据此设计L1召回和L2使用两级任务,并细分单条记忆、多记忆整合、更新与冲突处理。这提示我们,群助手需要判断“何时使用谁的哪条记忆”,而非简单检索历史。

轻量干预提升服务表现

针对记忆已召回却未有效使用的问题,团队提出RER和ACB两种干预。RER梳理人物、事件、时间关系并补充证据,ACB将事实整理为带主体和有效状态的约束。实验中,两者组合使LightMem、xMemory和EverMemOS的L2分数相对基线分别提高7.03、4.64和4.43个百分点,表明证据整理和约束显式化能改善服务。

评测设计的严谨性

为避免模型凭常识猜答案,团队筛选出确实需要群聊记忆的请求,并建立记忆锚点定位来源消息,设置历史截止点防止信息泄露。L2题采用定制评分准则,包含Grounding、Service和Penalty三部分,自动评判与人工多数票一致率达89.3%。这些设计让评测更贴近真实服务场景。

❓

Q&A

GroupAssistBench是什么?由谁发布的?

GroupAssistBench是腾讯元宝与伦敦国王学院NLP团队联合推出的首个基于群聊构建的Agent记忆基准,用于评测AI助手能否在群聊中正确使用记忆。

GroupAssistBench的数据集规模有多大?

基于50个真实群聊、80,299条历史消息,构建了2,395道评测题。

GroupAssistBench的评测分为哪两个层级?

分为L1记忆召回和L2记忆使用两个层级。L1有明确参考事实,共1,374道题;L2要求完成服务,答案无固定措辞但需遵守历史决定和成员要求,共1,021道题。

研究发现记忆召回强是否等于服务好?

不等于。例如EverMemOS在L1记忆召回得分0.621高于完整上下文的0.570,但在L2开放式服务得分0.247低于完整上下文的0.431,表明更会回忆并不必然更会服务。

RER和ACB两种干预方法分别是什么?效果如何?

RER(Relational Evidence Refinement)在检索后梳理人物、事件、时间及决定之间的关系并补充证据;ACB(Assistance Constraint Binding)将事实整理为具有主体、范围和有效状态的回复约束。实验中RER让LightMem的L2平均分提高6.28个百分点;ACB让xMemory和EverMemOS分别提高3.94和3.16个百分点;组合后三者分别提高7.03、4.64和4.43个百分点。

L2评测中如何自动评分?

为每道L2题构建与历史证据绑定的定制评分准则(Rubric),包括Grounding检查回答是否体现必要历史事实、Service检查任务是否完成、Penalty惩罚违反决定或使用过时信息等错误。人工核验显示自动评判与人工多数票一致率为89.3%。

🏷️

标签

➡️

继续阅读