提升记忆检索：New Computer如何通过LangSmith实现50%的召回率提升
内容提要
New Computer团队开发了个人AI助手Dot，具备长期记忆系统，能够根据用户的语言和行为偏好提供个性化帮助。通过LangSmith，提升了记忆检索系统的准确性和召回率。Dot的记忆系统动态生成文档，支持多种检索方法，确保信息高效准确。团队利用合成用户数据进行实验，快速迭代优化对话提示，提升用户体验。
延伸解读
代理记忆与传统RAG的差异
文章指出，Dot的记忆系统采用代理记忆（agentic memory），不同于依赖静态文档集的标准RAG方法。代理记忆在创建或预计算文档时就需要结构化信息，以便后续检索，并且随着记忆积累，必须保持准确和高效。这种动态生成文档的方式要求在设计阶段就考虑检索需求，而传统RAG通常直接使用现有文档。
元字段在检索中的实际作用
Dot的记忆包含可选的元字段，如状态（COMPLETED或IN PROGRESS）和日期时间字段（开始或截止日期）。这些字段可作为额外的过滤方法，用于高频查询，例如“这周我想完成哪些任务？”或“今天我还剩下什么要完成？”。文章提到，在某些情况下，相似性搜索或BM25等关键词方法需要先通过元字段进行预过滤才能有效工作。
合成数据与隐私保护的平衡
为了在保护用户隐私的同时测试性能，New Computer团队使用LLM生成背景故事，创建合成用户群体。通过初始对话为每个合成用户播种记忆数据库，然后将查询和可用记忆存储在LangSmith数据集中，并标注相关记忆以定义精确率、召回率和F1等评估指标。这种方法允许团队快速迭代，而无需使用真实用户数据。
实验管理与提示优化的挑战
由于Dot支持多种检索方法（语义、关键词、BM25、元字段过滤），并行运行这些方法可能导致实验组合爆炸，因此需要在多样化数据集上快速验证。此外，Dot的响应由动态对话提示生成，提示变化可能改善某些查询却损害其他查询。团队利用LangSmith的实验比较视图识别回归，并直接在提示游乐场中调整提示，从而提升迭代速度。
Q&A
Dot的长期记忆系统是如何工作的？
Dot的长期记忆系统通过观察用户的语言和行为偏好，动态生成文档，以提供个性化的帮助。
New Computer团队如何提升记忆检索的准确性？
通过LangSmith，New Computer团队测试和改进了记忆检索系统，使召回率提高了50%，准确性提高了40%。
Dot的记忆系统支持哪些检索方法？
Dot的记忆系统支持多种检索方法，包括语义检索、关键词检索、BM25和元字段过滤技术。
团队是如何利用合成用户数据进行实验的？
团队通过创建合成用户及其背景故事，生成合成数据进行实验，以测试和优化对话提示。
Dot如何确保用户感到被理解？
Dot通过适应用户的对话和语调偏好，提供个性化的消息，增强用户的理解感。
LangSmith在Dot的开发中起到了什么作用？
LangSmith帮助New Computer团队快速迭代和评估记忆检索系统的性能，提升了整体效率。
