Dropbox的AI功能整合了公司文档、消息和会议知识，用户可通过Dash Chat代理提问。评估代理质量的方法包括分析理解意图、收集上下文和使用工具等。通过DSPy框架，Dropbox优化了代理的评估和响应，减少了不完整答案和令牌使用，同时提升了回答质量。优化依赖于人类标注的评估和反馈，确保了代理的可靠性和有效性。

本文探讨了系统评估人工智能代理的重要性，强调评估过程而非仅关注结果。介绍了代理评估的不同层面，包括推理层和行动层的独立失败、成功标准的定义，以及代码检查和模型评估的策略。同时，强调在生产环境中监控代理表现，以识别真实用户交互中的潜在问题。

本文提供了代理评估的实用检查清单，涵盖错误分析、数据集构建、评估设计及生产准备等方面。强调在构建评估前需手动审查真实代理轨迹，明确成功标准，并区分能力评估与回归评估。建议从简单的全回合评估开始，逐步增加复杂性，以有效识别失败原因。最后，强调在生产环境中持续评估和反馈的重要性，以不断改进代理性能。

DigitalOcean的GradientAI平台已正式发布，数千名开发者参与了体验。新功能包括外部数据集成、代理可追溯性、客户对话日志和代理评估，提升了AI应用的构建和管理能力。该平台支持多种模型，简化开发流程，适合快速集成AI功能。未来将推出更多智能代理体验和评估工具。

Databricks推出Mosaic AI代理评估新功能，旨在解决客户在模型生产性能和迭代改进中的挑战。该功能包括自定义自动评估、与领域专家合作收集反馈，以及支持任意输入/输出模式，帮助团队提升GenAI应用的质量和效率。