内容提要
企业AI智能体并非聊天机器人,而是围绕目标循环执行理解、规划、检索、推理、行动与观察等阶段。文章提出五层参考架构:API网关负责身份与策略,运行时执行循环,知识状态层提供记忆,平台服务层提供模型与工具,信任控制框架贯穿全程。架构强调治理、可观测性、零信任、步级追踪、迭代上限与人工审批,并映射到Amazon Bedrock等AWS托管服务。
延伸解读
从聊天机器人到智能体:循环架构是分水岭
文章强调,企业AI智能体与聊天机器人的根本区别在于“循环”:智能体围绕目标反复执行理解、规划、检索、推理、行动与观察,直到达成目标或决定转交人工。这种循环带来编排、记忆和治理的新问题,也意味着治理、可观测性和信任控制必须嵌入每一步,而非事后追加。对架构师而言,这要求把智能体视为一个系统,而非单次模型调用。
五层参考架构:职责分离与治理贯穿
文章提出五层架构:API网关负责身份与策略,运行时执行五阶段循环,知识状态层提供记忆,平台服务层提供模型与工具,信任控制框架贯穿全程。每层对应AWS托管服务,并映射到Well-Architected框架的六大支柱。这种分层让团队可以独立变更、保护和扩展某一层,同时保持端到端治理,避免单点故障和职责不清。
可观测性:步级追踪而非应用日志
智能体的非确定性循环使传统应用日志不足以排查问题。文章主张步级追踪,捕获父子跨度、阶段转换、决策分支,以及每步的延迟、令牌消耗和工具状态。这些信号用于调试错误输出、定位瓶颈、归因成本、评估工具可靠性,并支撑自动回退决策。在AWS上,这对应X-Ray自定义段、CloudWatch指标和Bedrock原生调用日志。
信任控制四道门:从护栏到人工审批
信任控制框架设置四道门:护栏过滤有害内容与PII;评估检查 groundedness 和幻觉;置信度评分暴露不确定性并溯源;高风险动作需人工审批。四道门映射到AWS负责任AI维度和NIST AI风险管理框架,使审计可对照公认标准。文章还按结果类型(生成、写入、触发工作流、升级)设定不同治理门槛,风险越高审批越严。
Q&A
企业AI智能体和普通聊天机器人到底有什么区别?
聊天机器人一次只回答一条消息,答完就结束;企业AI智能体则围绕一个目标持续循环工作:理解用户请求、拆解步骤、检索所需知识、权衡证据、调用外部工具,并检查结果后再决定继续还是返回答案。关键区别在于这个多阶段循环,以及每一步都涉及真实系统和数据,因此治理、可观测性和信任控制必须贯穿每一步。
企业AI智能体的五层参考架构分别是什么?
五层架构为:1)API网关层,负责身份认证与策略执行;2)智能体运行时,执行理解、规划、检索、推理、行动与观察五阶段循环;3)知识与状态层,提供事实依据和跨会话记忆;4)平台服务层,提供模型网关、工具注册表、密钥与IAM、事件总线等共享基础设施;5)信任与控制框架,贯穿全程,包含护栏、评估、置信度评分和人工审批四道关卡。此外还有跨层治理。
智能体运行时里的五个阶段具体做什么?
五个阶段是:理解(识别意图、上下文和约束)、规划(将目标拆解为子任务、选择工具、定义成功标准)、检索(从知识库、记忆和会话状态中获取事实)、推理(选择合适模型、做出决策、反思结果)、行动与观察(通过标准接口调用外部工具,解析并验证返回结果,破坏性操作需经审批门)。每次循环的结果会反馈回理解阶段,形成迭代。
如何防止AI智能体陷入无限循环、浪费大量token?
需要设置硬性上限:迭代次数上限(生产环境常见为3到5次)、超时预算和token预算,并对错误分类为暂时性或永久性,同时提供升级到人工的路径。超过上限后,智能体应总结当前进展并升级或询问用户。没有这些防护,智能体会反复调用模型和工具,导致token成本和计算资源持续攀升,延迟上升、SLA违约,甚至触发下游限流。
信任与控制框架的四道关卡分别检查什么?
四道关卡依次为:1)护栏,对输出进行内容过滤、PII检测、毒性检查和主题拒绝列表;2)评估,检查检索内容是否支持回答,覆盖 groundedness、幻觉检测和格式验证,可用独立“裁判”模型打分;3)置信度评分,智能体自评置信度、标注来源、标记不确定处,低于阈值转人工;4)人工审批(HITL),对高风险操作如转账、修改数据、发送外部通信,由人工查看拟执行动作、推理过程和置信度后批准、修改或拒绝,所有决策均记录日志。
在AWS上落地这套架构需要用到哪些托管服务?
入口层用Amazon API Gateway(WebSocket流式)和Amazon Cognito做OAuth 2.0/OIDC认证,IAM策略按角色限定工具访问;运行时用Amazon Bedrock Agent配合系统提示和action groups,并启用Bedrock Guardrails;知识层用Bedrock Knowledge Bases(S3数据源、OpenSearch Serverless向量存储),DynamoDB存会话状态和长期记忆,可选ElastiCache缓存;平台层用Bedrock作模型网关、Secrets Manager管理密钥、EventBridge处理生命周期事件;可观测与治理用Bedrock模型调用日志、AWS X-Ray、CloudWatch仪表盘、CloudTrail和AWS Config。
构建企业智能体有哪些推荐的设计模式和要避免的反模式?
推荐模式包括:渐进式自主(从只读开始,逐步扩大写权限)、故障安全默认(不确定时澄清或升级人工)、多模型策略(按阶段匹配模型,小模型做意图分类,大模型做规划推理)、结构化工具接口(每个工具用OpenAPI schema定义输入输出、错误码和副作用)。应避免的反模式有:单体智能体(应拆分为专业智能体并由监督者协调)、无界循环(必须设迭代上限)、先信任后治理(治理、护栏和可观测性必须从第一天就是原语)。