AutoResearch 自动做实验，工程上先把账记清楚
内容提要
文章以美团AutoResearch自进化系统为例，指出自动研究系统应优先做好实验管理：记录实验继承关系、代码提交与数据版本，保留运行环境和评估输出，确保结果可追溯、可复现；资源上隔离执行队列，设置并发与预算上限，明确超时停止与重试规则，并清理残留资源；实验结论与发布权限分离，离线指标好不等于可上线，执行环境须限制权限。建议团队从边界清晰的离线任务入手，固定评估集，验证最优结果能否复现，再扩大自动化范围。
延伸解读
实验账本比探索策略更先决定成败
文章反复强调，自动研究系统最先要解决的不是提出更多实验，而是把每次实验的继承关系、代码提交、数据版本、运行环境和评估输出记清楚。否则分支一多，两个指标上涨的实验可能因为改动不同而无法比较，排查时只能翻日志拼凑。对团队而言，先让失败任务停得下来、成功结果查得明白，再谈扩大自动化范围，是更稳妥的推进顺序。
资源隔离与清理是容易被低估的维护成本
自动任务会持续提出新尝试，但机器预算不会同步增长。文章建议隔离执行队列，设置并发与预算上限，并明确超时停止和重试规则。更易遗漏的是，进程退出不等于资源释放，临时实例、存储和残留子进程都需要清理。监控也不能只看成功次数，还要识别长期占资源却无产出的任务，否则小团队日常维护会被这类故障拖垮。
离线指标好不等于可以自动上线
文章主张把实验结论与发布权限分开：离线指标更好只说明通过了当前评估，不能直接推出线上延迟、资源消耗和业务表现可接受。如果系统还会修改代码，执行环境应限制权限，避免实验任务接触生产凭据或正式数据。普通团队可以先从边界清晰的离线任务入手，固定评估集并留档，核查最优结果能否复现，再考虑扩大自动化。
Q&A
自动研究系统为什么需要优先做好实验管理？
因为自动提出和执行实验会带来大量维护工作，如果每次结果都要靠人翻日志拼凑，自动化节省的时间会被抵消。做好实验管理能确保结果可追溯、可复现，避免分支越多越难解释。
实验记录应该包含哪些关键信息？
实验记录应关联代码提交和数据版本，保留运行环境与评估输出。这样在结果异常时能顺着记录往回查，明确当时运行的究竟是什么。
自动实验任务在资源管理上要注意什么？
需要隔离执行队列，设置并发与预算上限；明确超时后由谁停止任务、失败后是否重试；任务取消后要清理临时实例、存储和残留子进程；监控要能发现占资源无产出的任务。
离线指标好为什么不能直接上线？
离线指标更好只说明它通过了当前评估，不能推出线上延迟、资源消耗和业务表现也能接受。因此实验结论和发布权限应分开，执行环境要限制权限，避免实验任务接触生产凭据或正式数据。
团队想尝试自动研究系统，应该从什么任务开始？
建议先挑一个边界清楚、成本可控的离线任务，固定评估集，把每次修改和结果留档，再核查所谓的“最好结果”能否复现。在账本记清楚之前，不要急着增加探索分支。
自动研究系统中实验分支多了会带来什么问题？
分支越多，结果越难解释。例如两个实验都说指标上涨，但一个改了模型配置，另一个同时换了数据切分，它们排在同一张榜上未必有可比性。因此必须记清实验之间的继承关系和数据版本。
