LangChain Blog
·
在Terminal Bench 2.0上评估Deep Agents CLI
内容提要
Deep Agents CLI是基于Deep Agents SDK的编码代理，提供交互式终端界面。通过Terminal Bench 2.0评估，其在89个任务中得分约42.5%，与Claude Code相当。Harbor框架支持在隔离环境中评估代理，简化测试和评分过程。
关键要点
-
Deep Agents CLI是基于Deep Agents SDK的编码代理，提供交互式终端界面。
-
在Terminal Bench 2.0评估中，Deep Agents CLI在89个任务中得分约42.5%，与Claude Code相当。
-
Deep Agents CLI是开源的，使用Python编写，支持文件操作、命令执行、网络搜索等功能。
-
Harbor框架支持在隔离环境中评估代理，简化测试和评分过程。
-
Harbor能够处理自动测试执行、奖励评分和预构建评估数据集的注册。
-
Terminal Bench 2.0包含89个任务，涵盖软件工程、生物学、安全和游戏等领域。
-
每个任务都有验证逻辑，Harbor会自动运行并根据代理的解决方案是否符合要求分配奖励分数。
-
Deep Agents CLI在Terminal Bench 2.0的基线结果为44.9%和40.4%，平均得分为42.65%。
-
未来将系统分析代理的跟踪记录，识别具体优化以提高性能。
延伸解读
Deep Agents CLI的应用场景
Deep Agents CLI作为一个开源的编码代理，适用于多种领域，包括软件工程、生物学、安全和游戏等。其交互式终端界面和丰富的功能使其在处理复杂任务时具有潜力，尤其是在需要文件操作和命令执行的场景中。
Harbor框架的优势
Harbor框架为Deep Agents CLI提供了一个安全的沙箱环境，确保每次评估都在干净的状态下进行。这种隔离性不仅提高了测试的可靠性，还允许并行执行多个测试，显著加快了迭代速度。
评估结果的意义
Deep Agents CLI在Terminal Bench 2.0的得分约为42.5%，与Claude Code相当。这一结果表明，Deep Agents在当前的技术水平下具备竞争力，但仍需进一步优化以提升性能。
延伸问答
Deep Agents CLI是什么？
Deep Agents CLI是基于Deep Agents SDK的开源编码代理，提供交互式终端界面，支持文件操作、命令执行和网络搜索等功能。
Deep Agents CLI在Terminal Bench 2.0的评估结果如何？
在Terminal Bench 2.0评估中，Deep Agents CLI在89个任务中得分约42.5%，与Claude Code相当。
Harbor框架的作用是什么？
Harbor框架支持在隔离环境中评估代理，简化测试和评分过程，处理自动测试执行和奖励评分。
Terminal Bench 2.0包含哪些领域的任务？
Terminal Bench 2.0包含软件工程、生物学、安全和游戏等领域的89个任务。
Deep Agents CLI的基线结果是什么？
Deep Agents CLI在Terminal Bench 2.0的基线结果为44.9%和40.4%，平均得分为42.65%。
Deep Agents CLI的未来发展方向是什么？
未来将系统分析代理的跟踪记录，识别具体优化以提高性能。
