与 Devin 相处一个月的思考 [译]

Devin是一款新型AI软件工程师，通过Slack与用户互动，自动完成编程任务。

初期表现良好，但在后续测试中，14个任务失败，仅3个成功，显示其在复杂任务上的局限性。

Devin的基础架构与大多数AI助手不同，能够自行启动计算环境并与用户进行对话。

在初步测试中，Devin成功完成了一些简单任务，但在复杂任务中表现不佳。

随着测试范围扩大，Devin在一些看似简单的任务上也出现了失败，导致用户体验不佳。

团队对Devin的表现进行了系统分析，发现其在创建新项目、研究类任务和分析现有代码方面存在问题。

Devin在处理复杂任务时常常无法预判成功与否，导致时间浪费。

团队反思认为，Devin在大任务中无法节省时间，且在使用内部工具时表现不佳。

最终结论是，Devin的实际应用效果与社交媒体热度和公司估值并不一致，用户更倾向于使用人类主导的开发工具。