LangChain Blog
·
在Terminal Bench 2.0上评估DeepAgents CLI
内容提要
DeepAgents CLI是基于Deep Agents SDK的编码代理，支持终端交互和文件操作。通过Terminal Bench 2.0评估，DeepAgents CLI在89项任务中得分约42.5%，与Claude Code相当。Harbor框架提供隔离环境，支持自动化测试和评分，简化评估过程。
关键要点
-
DeepAgents CLI是基于Deep Agents SDK的编码代理，支持终端交互和文件操作。
-
DeepAgents CLI在Terminal Bench 2.0评估中得分约42.5%，与Claude Code相当。
-
DeepAgents CLI是开源的，使用Python编写，支持文件操作、命令执行、网络搜索等功能。
-
Harbor框架提供隔离环境，支持自动化测试和评分，简化评估过程。
-
Harbor支持Docker等容器化环境，处理自动测试执行和奖励评分。
-
Terminal Bench 2.0包含89个任务，涵盖软件工程、生物学、安全和游戏等领域。
-
DeepAgents CLI在Terminal Bench 2.0的基线结果为44.9%和40.4%，平均得分为42.65%。
-
未来将系统分析代理的执行轨迹，识别具体优化点以提高性能。
延伸问答
DeepAgents CLI是什么？
DeepAgents CLI是基于Deep Agents SDK的开源编码代理，支持终端交互和文件操作，使用Python编写。
DeepAgents CLI在Terminal Bench 2.0的表现如何？
DeepAgents CLI在Terminal Bench 2.0评估中得分约42.5%，与Claude Code相当。
Harbor框架的作用是什么？
Harbor框架提供隔离环境，支持自动化测试和评分，简化了代理的评估过程。
Terminal Bench 2.0包含哪些任务？
Terminal Bench 2.0包含89个任务，涵盖软件工程、生物学、安全和游戏等领域。
DeepAgents CLI的未来发展方向是什么？
未来将系统分析代理的执行轨迹，识别具体优化点以提高性能。
如何使用Harbor进行DeepAgents CLI的评估？
可以通过配置API密钥并使用Docker运行Harbor来评估DeepAgents CLI，具体步骤包括克隆代码库和运行相关命令。
