Solo.io推出了开源项目agentevals，旨在帮助开发者评估和基准“智能AI”系统。该框架测试AI代理在基础设施自动化和API编排等工作流中的有效性，提供可靠性、延迟和成功率的标准化测量。项目将与Gloo平台和Envoy Proxy集成，支持多步骤任务的模拟，生成可重复的日志和数据。

评估（evals）对可靠的LLM应用至关重要。新发布的openevals和agentevals提供了易用的评估框架和工具，帮助用户根据特定数据和指标评估LLM输出质量。用户可以通过定制评估器和数据集，支持多种应用场景的有效评估。