微软Foundry Agent Service通过长期内存预览简化状态管理

微软Foundry Agent Service通过长期内存预览简化状态管理

💡 原文英文,约500词,阅读约需2分钟。
📝

内容提要

微软在Ignite大会上宣布Foundry Agent Service的内存功能进入公开预览,允许开发者存储和管理聊天摘要及用户偏好。内存功能分为提取、整合和检索三个阶段,支持通过SDK和API使用。每个内存范围可存储最多10,000个项目,系统每分钟处理1,000个请求,满足长期上下文的基础设施需求。

🎯

关键要点

  • 微软在Ignite大会上宣布Foundry Agent Service的内存功能进入公开预览。
  • 内存功能允许开发者存储、检索和管理聊天摘要、用户偏好及重要上下文。
  • 内存功能分为提取、整合和检索三个阶段,支持通过SDK和API使用。
  • 提取阶段提取用户互动中的关键信息,如偏好和近期活动。
  • 整合阶段合并提取的记忆以避免冗余,解决冲突信息以确保准确性。
  • 检索阶段使用混合搜索技术快速找到相关记忆,确保自然和知情的对话。
  • 每个内存范围可存储最多10,000个项目,系统每分钟处理1,000个请求。
  • 内存管理从应用逻辑转移到服务运行时,简化了提取和检索的复杂性。
  • 内存功能的转变表明长期上下文正成为核心基础设施需求。
  • 在公开预览期间,内存功能免费,用户仅为底层聊天和嵌入模型使用付费。

延伸问答

Foundry Agent Service的内存功能有什么主要用途?

内存功能允许开发者存储、检索和管理聊天摘要、用户偏好及重要上下文。

Foundry Agent Service的内存功能是如何工作的?

内存功能分为提取、整合和检索三个阶段,支持通过SDK和API使用。

每个内存范围可以存储多少个项目?

每个内存范围可存储最多10,000个项目。

微软的内存功能在公开预览期间是否收费?

在公开预览期间,内存功能免费,用户仅为底层聊天和嵌入模型使用付费。

内存功能的提取阶段主要提取什么信息?

提取阶段提取用户互动中的关键信息,如偏好和近期活动。

Foundry Agent Service的内存管理有什么变化?

内存管理从应用逻辑转移到服务运行时,简化了提取和检索的复杂性。

➡️

继续阅读