发布Mosaic AI代理框架和代理评估
内容提要
Databricks公开预览了Mosaic AI Agent Framework和Agent Evaluation，旨在帮助开发人员构建和部署高质量的Agentic和RAG应用程序。Agent Evaluation提供了评估应用程序质量的度量标准和自动记录人类反馈。Agent Framework集成了MLflow，可快速开发和部署应用程序。
延伸解读
评估驱动开发：从POC到生产的质量闭环
文章强调，构建高质量GenAI应用的关键在于建立评估驱动的开发流程。Agent Evaluation允许定义高质量答案标准，并自动记录人类反馈，结合内置AI评审（如准确性、幻觉、有害性、有用性）来识别质量问题根源。开发者可利用MLflow记录评估结果，迭代优化应用配置，最终在质量达标后部署。这一闭环帮助团队系统化提升应用质量，而非依赖主观判断。
与MLflow和Unity Catalog的深度集成
Agent Framework与MLflow紧密集成，支持使用标准API（如log_model、mlflow.evaluate）记录和评估GenAI应用，并提供追踪功能以观察和调试。同时，与Unity Catalog集成实现治理和元数据管理，确保权限控制和数据安全。这种集成简化了应用生命周期管理，从开发到部署再到生产监控，为开发者提供了一条顺畅的路径。
实际应用案例：Corning与Lippert的反馈
文章引用了Corning和Lippert的案例。Corning使用Agent Framework构建AI研究助手，索引大量专利文档，显著提升了检索速度、响应质量和准确性。Lippert则利用该框架评估GenAI应用输出准确性，同时保持对数据源的控制。这些案例表明，该框架能帮助企业在特定领域实现高质量、可控制的GenAI应用，并增强部署信心。
定价模式与成本考量
Agent Evaluation按评审请求定价，Mosaic AI Model Serving按服务费定价。这意味着成本与使用量直接相关，开发者在评估和部署时需考虑评审请求的频率和模型服务的调用量。文章建议参考定价网站获取详细信息，但未给出具体价格。对于预算敏感的项目，需权衡评估深度与成本，优化评审请求次数。
Q&A
Mosaic AI代理框架的主要功能是什么？
Mosaic AI代理框架旨在帮助开发人员快速构建和部署高质量的生成AI应用程序，集成了MLflow以支持完整的开发工作流程。
Agent Evaluation如何帮助提高应用程序质量？
Agent Evaluation允许定义高质量答案的标准，自动记录人类反馈，并提供一套评估指标来测量应用程序的质量。
开发高质量生成AI应用程序面临哪些挑战？
开发高质量生成AI应用程序的挑战包括选择合适的评估指标、有效收集人类反馈、识别质量问题根源和快速迭代。
如何使用Mosaic AI代理框架进行应用程序的生命周期管理？
Mosaic AI代理框架提供简化的SDK，支持从权限管理到部署的整个代理应用程序生命周期管理。
Generative AI Cookbook提供了哪些帮助？
Generative AI Cookbook提供了从POC到生产的详细步骤和配置选项，帮助开发人员构建高质量的生成AI应用程序。
Mosaic AI代理评估的定价是怎样的？
Agent Evaluation按评审请求定价，而Mosaic AI Model Serving则根据服务费定价。
