LangChain Blog
·
在Terminal Bench 2.0上评估Deep Agents CLI
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
Deep Agents CLI是基于Deep Agents SDK的编码代理，提供交互式终端界面。通过Terminal Bench 2.0评估，其在89个任务中得分约42.5%，与Claude Code相当。Harbor框架支持在隔离环境中评估代理，简化测试和评分过程。
🎯
关键要点
- Deep Agents CLI是基于Deep Agents SDK的编码代理，提供交互式终端界面。
- 在Terminal Bench 2.0评估中，Deep Agents CLI在89个任务中得分约42.5%，与Claude Code相当。
- Deep Agents CLI是开源的，使用Python编写，支持文件操作、命令执行、网络搜索等功能。
- Harbor框架支持在隔离环境中评估代理，简化测试和评分过程。
- Harbor能够处理自动测试执行、奖励评分和预构建评估数据集的注册。
- Terminal Bench 2.0包含89个任务，涵盖软件工程、生物学、安全和游戏等领域。
- 每个任务都有验证逻辑，Harbor会自动运行并根据代理的解决方案是否符合要求分配奖励分数。
- Deep Agents CLI在Terminal Bench 2.0的基线结果为44.9%和40.4%，平均得分为42.65%。
- 未来将系统分析代理的跟踪记录，识别具体优化以提高性能。
❓
延伸问答
Deep Agents CLI是什么？
Deep Agents CLI是基于Deep Agents SDK的开源编码代理，提供交互式终端界面，支持文件操作、命令执行和网络搜索等功能。
Deep Agents CLI在Terminal Bench 2.0的评估结果如何？
在Terminal Bench 2.0评估中，Deep Agents CLI在89个任务中得分约42.5%，与Claude Code相当。
Harbor框架的作用是什么？
Harbor框架支持在隔离环境中评估代理，简化测试和评分过程，处理自动测试执行和奖励评分。
Terminal Bench 2.0包含哪些领域的任务？
Terminal Bench 2.0包含软件工程、生物学、安全和游戏等领域的89个任务。
Deep Agents CLI的基线结果是什么？
Deep Agents CLI在Terminal Bench 2.0的基线结果为44.9%和40.4%，平均得分为42.65%。
Deep Agents CLI的未来发展方向是什么？
未来将系统分析代理的跟踪记录，识别具体优化以提高性能。
➡️
