第一位AI软件工程师诞生
内容提要
Devin是认知实验室推出的第一位AI软件工程师，具有SWE-Bench编码基准的最新水平。Devin可以解决真实开源项目中的GitHub问题，为生产资源库做出贡献，训练和微调人工智能模型。认知实验室是一家专注于推理的人工智能实验室，希望帮助人们将想法变为现实。
延伸解读
Devin 的基准表现与对比
在 SWE-Bench 基准测试中，Devin 在无人协助下正确解决了 13.86% 的 GitHub 问题，远超之前最先进模型的 1.96% 无人协助和 4.80% 协助性能。网友讨论指出，Devin 的任务解决率约为 GPT-4 的 7 倍、Claude 2 的 3 倍，但尚未与 Claude 3 对比。这一数据表明 Devin 在自动化软件工程任务上取得了显著进步，但仍有大量问题无法独立解决。
实际工作能力展示
Devin 不仅能通过基准测试，还在实际场景中展现了能力：在 Upwork 上完成编写和调试计算机视觉模型代码的工作，并为 sympy 等生产级开源项目修复 bug。它能够学习不熟悉的技术，如通过阅读博文在 Modal 上运行 ControlNet，还能仅凭 GitHub 链接微调大型语言模型。这些案例说明 Devin 具备一定的自主学习和任务执行能力。
协作与工具支持
Devin 被设计为不知疲倦的队友，可以独立工作或与人类协作。它配备了 shell、代码编辑器和浏览器等开发者工具，能够实时报告进度、接受反馈，并参与设计选择。凭借长期推理和规划能力，Devin 可以执行需要数千个决策的复杂工程任务，并在过程中不断学习、修正错误。
公司背景与行业影响
认知实验室是一家专注于推理的应用人工智能实验室，已获得由创始人基金领投的 2100 万美元 A 轮融资，并得到多位行业领袖支持。Devin 的出现引发网友讨论：有人担忧传统计算机科学教育的价值，有人质疑未来是否还需要手动构建应用。尽管 Devin 表现突出，但其实际部署成本和与最新模型的对比仍有待观察。
Q&A
Devin是如何解决GitHub问题的？
Devin通过SWE-Bench编码基准，在无人协助的情况下成功解决了13.86%的GitHub问题。
Devin的技术优势是什么？
Devin的任务解决能力优于GPT-4和Claude 2，显示出其技术优势。
认知实验室的目标是什么？
认知实验室专注于推理的应用人工智能，致力于帮助人们将想法变为现实。
Devin能否自主学习新技术？
是的，Devin可以学习不熟悉的技术，并为生产资源库做出贡献。
Devin在Upwork上做了什么工作？
Devin在Upwork上编写并调试代码，以运行计算机视觉模型。
认知实验室获得了多少融资？
认知实验室获得了2100万美元的A轮融资。
