InfoQ
·
微软Foundry Agent Service通过长期内存预览简化状态管理
内容提要
微软在Ignite大会上宣布Foundry Agent Service的内存功能进入公开预览，允许开发者存储和管理聊天摘要及用户偏好。内存功能分为提取、整合和检索三个阶段，支持通过SDK和API使用。每个内存范围可存储最多10,000个项目，系统每分钟处理1,000个请求，满足长期上下文的基础设施需求。
关键要点
-
微软在Ignite大会上宣布Foundry Agent Service的内存功能进入公开预览。
-
内存功能允许开发者存储、检索和管理聊天摘要、用户偏好及重要上下文。
-
内存功能分为提取、整合和检索三个阶段，支持通过SDK和API使用。
-
提取阶段提取用户互动中的关键信息，如偏好和近期活动。
-
整合阶段合并提取的记忆以避免冗余，解决冲突信息以确保准确性。
-
检索阶段使用混合搜索技术快速找到相关记忆，确保自然和知情的对话。
-
每个内存范围可存储最多10,000个项目，系统每分钟处理1,000个请求。
-
内存管理从应用逻辑转移到服务运行时，简化了提取和检索的复杂性。
-
内存功能的转变表明长期上下文正成为核心基础设施需求。
-
在公开预览期间，内存功能免费，用户仅为底层聊天和嵌入模型使用付费。
延伸解读
内存功能的三阶段管理
Foundry Agent Service的内存功能分为提取、整合和检索三个阶段。提取阶段关注用户互动中的关键信息，整合阶段则合并这些信息以避免冗余，确保数据准确性。检索阶段利用混合搜索技术快速找到相关记忆，这种结构化的管理方式有助于提升用户体验，确保对话的自然流畅。
内存范围的存储限制
每个内存范围最多可存储10,000个项目，这一限制可能影响开发者在处理大量用户数据时的灵活性。开发者需要合理规划内存的使用，确保重要信息不会因存储限制而丢失。此外，系统每分钟处理1,000个请求的能力也需考虑，以避免在高并发情况下出现性能瓶颈。
长期上下文的基础设施需求
微软的内存功能表明，长期上下文正逐渐成为智能代理系统的核心基础设施需求。这一转变意味着开发者在设计应用时，需将长期记忆的管理纳入考虑，以提升系统的智能化水平和用户满意度。随着内存功能的普及，企业可能需要重新评估其技术架构以适应这一变化。
延伸问答
Foundry Agent Service的内存功能有什么主要用途？
内存功能允许开发者存储、检索和管理聊天摘要、用户偏好及重要上下文。
Foundry Agent Service的内存功能是如何工作的？
内存功能分为提取、整合和检索三个阶段，支持通过SDK和API使用。
每个内存范围可以存储多少个项目？
每个内存范围可存储最多10,000个项目。
微软的内存功能在公开预览期间是否收费？
在公开预览期间，内存功能免费，用户仅为底层聊天和嵌入模型使用付费。
内存功能的提取阶段主要提取什么信息？
提取阶段提取用户互动中的关键信息，如偏好和近期活动。
Foundry Agent Service的内存管理有什么变化？
内存管理从应用逻辑转移到服务运行时，简化了提取和检索的复杂性。
