发布Databricks AgentOps巨著
内容提要
《AgentOps指南》介绍企业规模化部署AI代理的操作规范，涵盖架构、评估、治理、安全与成本管理。文章强调通过分阶段流程、反馈循环和利益相关者协调，确保代理可靠运行。案例显示，采用该实践可提升准确性、降低成本，并建议从明确用例起步，逐步扩展。
延伸解读
从MLOps到AgentOps的演进
文章将AgentOps定位为MLOps和LLMOps之后的下一层运维实践。MLOps解决模型从笔记本到生产的迁移，LLMOps增加提示词和模型版本管理，而AgentOps则扩展到会推理、使用工具并自主行动的系统。这种演进意味着企业需要将运维重点从单一模型输出转向多步骤执行链，包括工具调用、权限检查和成本控制。
成本与治理的复杂性
文章指出，单个用户请求可能触发多次模型调用，包括子代理、重试和护栏检查，因此成本归因和限额设置至关重要。同时，随着代理数量增加，应用内控制难以审计，平台级治理（如Unity Catalog和Unity Gateway）成为统一管理数据访问、模型和工具使用、追踪和策略执行的关键。
评估驱动的迭代开发
文章强调评估是安全迭代的基础，建议从真实轨迹构建黄金评估集，并校准自动化评判器。案例显示，FactSet的代理通过评估改进获得44%的准确率提升，ICE的文本到SQL应用达到77%的语法准确率。这提示团队应尽早建立评估循环，而非事后补测。
避免常见反模式
文章列举了阻碍代理上线的反模式，包括用例过宽、过早使用多代理编排、不必要的推理循环和延迟评估。建议从狭窄用例和明确成功指标起步，尽早让利益相关者看到原型，并根据学习结果而非预设路线图决定下一步，以降低失败风险。
Q&A
什么是AgentOps？
AgentOps是用于在企业规模下构建、部署和改进AI代理的操作规范，它整合了架构、评估、可观测性、治理、安全性和成本管理，形成可重复的流程。
AgentOps与MLOps和LLMOps有什么区别？
MLOps关注机器学习模型的生产化，LLMOps增加了提示词和模型版本管理、分布式服务和成本控制，而AgentOps则进一步扩展到能够推理、使用工具并自主采取行动的系统，强调对多步骤执行的可追溯性、质量度量、失败处理和跨团队协调。
为什么AI代理需要AgentOps？
因为AI代理在运行时可以选择工具、检索企业数据、调用API并自主完成多步骤任务，每一步都可能出错，如错误的工具调用、过宽的权限或未计划的成本激增。AgentOps帮助管理这些复杂性，确保系统可靠、可信且可运行。
AgentOps中常见的反模式有哪些？
常见的反模式包括：用例范围过宽、在复杂性未证明必要前就使用多代理编排、不必要的推理循环、以及将评估推迟到后期。这些都会阻碍试点项目进入生产。
在AgentOps中，如何管理成本？
成本管理是AgentOps的重要部分，因为单个用户请求可能触发多次模型调用（如子代理、重试和护栏检查）。需要归因使用量、设置限制并建立明确的支出问责制。
AgentOps中如何建立评估和反馈循环？
首先由主题专家审查真实轨迹，而不是手工挑选的提示词，以发现失败模式并构建代表性的评估集。然后校准自动化评判器，最终用评估结果驱动后续开发。Databricks平台提供代理评估、AI辅助评判和基于轨迹的分析来支持这一过程。
AgentOps中为什么需要平台级治理？
随着代理数量增加，单个应用内的控制难以审计。平台级治理提供统一的地方来管理数据访问、模型和工具使用、追踪、评估和政策执行，避免为每个新代理重复治理。Databricks使用MLflow、Unity Gateway和Unity Catalog作为基础。
AgentOps中如何规划高杠杆活动？
六步规划序列：映射人工工作流、转化为技术架构、按角色定义可观测性需求、设计系统追踪、映射数据与工具的访问控制、识别可复用组件。这有助于将精力集中在能改变结果的地方。
AgentOps中如何管理利益相关者？
生产就绪取决于利益相关者的协调，包括执行发起人、产品负责人、主题专家、安全、合规和财务。使用RACI矩阵明确决策所有权，并建议在项目启动前后设定沟通节奏。
AgentOps中如何开始一个项目？
选择一个定义明确、有清晰成功指标的用例，尽早让利益相关者看到可工作的原型，根据所学而非预建路线图决定下一步。避免一开始就使用复杂的编排。
