💡
原文英文，约2400词，阅读约需9分钟。
📝
内容提要
Claude 3.7 Sonnet发布，显著提升了AI编码代理的能力。在SWE-bench和TAU-bench基准测试中，SWE-bench的解决率从49%提升至70%，TAU-bench也有明显进步。尽管测试仅限于Python代码，Claude 3.7的表现优于3.5，显示出AI在编码和理解用户意图方面的进步。
🎯
关键要点
- Claude 3.7 Sonnet发布，提升了AI编码代理的能力。
- 在SWE-bench基准测试中，解决率从49%提升至70%。
- TAU-bench也有10个点的提升，显示出AI在理解用户意图方面的进步。
- SWE-bench由普林斯顿大学NLP团队开发，旨在评估大模型解决实际软件工程问题的能力。
- 数据构造分为选库、特性过滤和运行时过滤三个步骤。
- SWE-bench数据集包含500个经过验证的样本，主要用于测试AI编码能力。
- TAU-bench用于评估AI代理在现实场景中的性能和可靠性，设计了多个复杂任务场景。
- 测试执行过程中，模型需要理解用户意图并调用工具修改数据库。
- Claude 3.7在零售领域问题解决率高达81%，但航空领域仅为58%。
- Pass^k指标用于评估模型在多次执行中的稳定性，显示出Agent的可靠性仍需提升。
- 两个基准测试模拟真实世界问题场景，但仍与实际使用存在差距。
➡️
