内容提要
腾讯元宝与伦敦国王学院推出GroupAssistBench,基于50个真实群聊、8万余条消息构建2395道题,评测AI助手能否在群聊中正确使用记忆。研究发现,记忆召回强不等于服务好:部分系统L1得分高,但L2服务得分反低于完整上下文。团队提出RER和ACB两种轻量干预,提升记忆驱动服务表现,推动评测从“记得住”走向“用得好”。
延伸解读
记忆召回强不等于服务好
文章通过对比发现,EverMemOS在L1记忆召回得分0.621高于完整上下文的0.570,但L2服务得分0.247却低于完整上下文的0.431。这说明系统能找回历史信息,并不代表能在实际服务中正确使用。读者需注意,评估AI助手时不能只看记忆检索能力,更要关注其能否将记忆转化为符合约束的回复。
群聊记忆的独特挑战
真实群聊中,信息由不同成员补充、安排随讨论更新、回复需兼顾多人约束。GroupAssistBench据此设计L1召回和L2使用两级任务,并细分单条记忆、多记忆整合、更新与冲突处理。这提示我们,群助手需要判断“何时使用谁的哪条记忆”,而非简单检索历史。
轻量干预提升服务表现
针对记忆已召回却未有效使用的问题,团队提出RER和ACB两种干预。RER梳理人物、事件、时间关系并补充证据,ACB将事实整理为带主体和有效状态的约束。实验中,两者组合使LightMem、xMemory和EverMemOS的L2分数相对基线分别提高7.03、4.64和4.43个百分点,表明证据整理和约束显式化能改善服务。
评测设计的严谨性
为避免模型凭常识猜答案,团队筛选出确实需要群聊记忆的请求,并建立记忆锚点定位来源消息,设置历史截止点防止信息泄露。L2题采用定制评分准则,包含Grounding、Service和Penalty三部分,自动评判与人工多数票一致率达89.3%。这些设计让评测更贴近真实服务场景。
Q&A
GroupAssistBench是什么?由谁发布的?
GroupAssistBench是腾讯元宝与伦敦国王学院NLP团队联合推出的首个基于群聊构建的Agent记忆基准,用于评测AI助手能否在群聊中正确使用记忆。
GroupAssistBench的数据集规模有多大?
基于50个真实群聊、80,299条历史消息,构建了2,395道评测题。
GroupAssistBench的评测分为哪两个层级?
分为L1记忆召回和L2记忆使用两个层级。L1有明确参考事实,共1,374道题;L2要求完成服务,答案无固定措辞但需遵守历史决定和成员要求,共1,021道题。
研究发现记忆召回强是否等于服务好?
不等于。例如EverMemOS在L1记忆召回得分0.621高于完整上下文的0.570,但在L2开放式服务得分0.247低于完整上下文的0.431,表明更会回忆并不必然更会服务。
RER和ACB两种干预方法分别是什么?效果如何?
RER(Relational Evidence Refinement)在检索后梳理人物、事件、时间及决定之间的关系并补充证据;ACB(Assistance Constraint Binding)将事实整理为具有主体、范围和有效状态的回复约束。实验中RER让LightMem的L2平均分提高6.28个百分点;ACB让xMemory和EverMemOS分别提高3.94和3.16个百分点;组合后三者分别提高7.03、4.64和4.43个百分点。
L2评测中如何自动评分?
为每道L2题构建与历史证据绑定的定制评分准则(Rubric),包括Grounding检查回答是否体现必要历史事实、Service检查任务是否完成、Penalty惩罚违反决定或使用过时信息等错误。人工核验显示自动评判与人工多数票一致率为89.3%。