当一篇论文说“AI Agent还不会做研究”，它到底测到了什么？
内容提要
该文探讨AI Agent在开放式研究中的表现，指出实验失败不应简单归因于AI能力不足，而需综合考虑模型、框架、工具、反馈机制及操作者水平。作者强调研究能力由多种技能构成，Agent使用者的组织能力常被低估，并建议通过2×2实验测量Agent对不同研究者的影响，预测未来研究者间生产力差距将扩大。
延伸解读
实验结论的适用范围
论文中Agent的失败，只能说明在特定模型、框架、工具和资源限制下，该系统未能完成研究任务。不能直接推广为“AI不会做研究”。模型版本、推理设置、上下文管理、工具调用、反馈机制等变量都会影响结果，缺少这些细节的结论信息量有限。
操作者能力被低估
研究能力由多种技能组成，理论水平、编程能力、实验设计等相对独立。Agent时代新增了组织Agent工作的技能，同样模型下，不同操作者的任务拆分、反馈设计、停止条件等决策差异巨大，可能导致结果天差地别。因此，实验失败不能简单归因于模型智力。
生产力差距将扩大
工具能力越强，使用者之间的差距往往越大。Agent可能让普通研究员与高水平操作者之间的生产力差距扩大到数倍甚至一个数量级。未来值得关注的不再是“AI会不会替代研究员”，而是研究人员之间因使用Agent方式不同而产生的生产力分化。
Q&A
为什么不能根据一项实验直接得出“AI Agent还不会做开放式研究”的结论？
因为实验测到的是整个系统的表现，包括基础模型、Agent框架、工具、反馈机制、操作者水平等多个因素，任何一个变量未控制好都会影响结果。因此，一次失败只能说明在该具体配置下系统未完成任务，不能泛化为AI整体能力不足。
在评估AI Agent的研究能力时，除了模型本身，还有哪些关键因素？
关键因素包括Agent框架（如何维护状态、拆解任务、调用工具）、工具质量、反馈机制（如是否有Reviewer、验证器）、操作者能力（如何组织Agent工作）以及资源分配和预算控制。这些因素共同决定最终表现。
为什么说操作者的组织能力在Agent时代被低估了？
因为即使使用相同的模型，不同操作者组织Agent的方式差异巨大：有人用单一Prompt让Agent长时间运行，有人会拆分任务、设置独立上下文、设计Reviewer和失败回退机制。这些组织方式直接影响结果，但常被归因于模型智力。
即使AI能写代码，研究员的工程水平还会影响结果吗？
影响会转移但不会消失。代码质量可能由AI解决，但研究员仍需决定任务拆分、并行策略、验证标准、何时停止探索、如何解释失败等高层问题。这些决策直接影响研究方向和效率，因此操作者的影响上移而非消失。
为什么说Agent的能力是一个乘法结果而不是加法？
因为最终表现由基础模型、Agent架构、工具质量、反馈机制和操作者能力共同作用，任何一个环节特别差都会浪费其他环节的能力。例如，强模型若缺乏可靠反馈，可能高效地沿错误方向运行；优秀框架配弱模型也会在关键判断上失败。
为什么说“领域专家”作为人类对照组可能不靠谱？
因为“领域专家”标签模糊，同样背景的研究者工程能力和使用Agent的方式差异巨大。有人手工操作，有人并行探索并自动化流程，效率可能相差数倍。因此，对照组内部差异大，难以准确比较AI与人类。
作者建议用什么实验设计来测量Agent对研究者的影响？
作者建议采用2×2实验设计：传统研究流程与Agent原生流程，分别由普通研究员和强工程能力/Agent高级用户执行。通过比较B与A、D与C、D与B的差距，可以分别测量Agent对普通研究员、高水平操作者的帮助，以及使用Agent带来的生产力差距。
作者预测未来研究人员之间的生产力差距会如何变化？
作者预测差距将迅速扩大。因为工具能力越强，不同使用者的差距往往越大。善于组织Agent的研究员可能同时探索多个方向，效率达到其他研究员的数倍甚至一个数量级，而不会使用Agent的人则相对落后。
