内容提要
亚马逊云科技与小红书合作,基于ADLC框架研发用于推荐模型自迭代的Research Agent。针对探索空间大、训练成本高的挑战,提出Wide-and-Deep探索策略,并设计Proposal、Developing、Evaluation多智能体分工及上下文管理机制。实验以RankMixer在KuaiRand数据集上训练,仅用80 GPU·h即实现AUC提升1.88pp,较基线方案提升约41%,探索多样性显著改善。
延伸解读
从基线诊断到方案设计:飞轮起点的选择逻辑
文章没有直接开发专用Agent,而是先用通用强Agent作为基线,在200 GPU·h预算下观察其行为。结果发现基线虽能提升AUC 1.33pp,但76%收益集中在最初30%时间,86%预算押注单一方向,论文工具调用仅占2.7%。这些轨迹分析明确了“代码开发不是瓶颈,探索策略才是”,为后续Wide-and-Deep设计提供了实证依据。这种先诊断再设计的路径,比直接堆叠组件更值得借鉴。
评估体系不止看AUC:玻璃盒指标揭示行为偏差
文章将评估分为黑盒与玻璃盒两类:主任务和辅助任务ΔAUC是机械可验证的黑盒指标,而探索多样性、论文工具使用次数、数据集分析次数和探索决策正确率则用于观察Agent行为是否偏离预期。其中探索决策正确率需人工比对Agent与人类决策,属于主观指标。这套体系的价值在于,仅看最终AUC无法发现“方向快速收敛”这类过程问题,玻璃盒指标能提前暴露研究行为的缺陷。
Wide-and-Deep如何平衡探索广度与深度
Wide Branch固定以基线版本为父节点,通过减少训练步数批量验证多个思路,假设有效改进应具备泛化性;Deep Branch则允许基于任意历史版本继续完善或融合思路,甚至参考失败版本的反事实。分支选择不设硬性阈值,而是让Agent参考复盘结论、新最佳模型、历史多样性和上次Wide时间四项指标自主决策。这种设计把搜索策略从预定义规则交还给模型判断,是提升长程研究效率的关键。
多智能体拆分与上下文管理的工程取舍
方案按探索轮次做第一层拆分,每轮使用新的Proposal、Developing、Evaluation三个Agent顺序协作,轮间通过长期记忆传递必要信息,而非继承完整上下文。长期记忆分为Paper、KB、Leaderboard、Code四类,Code库用git管理。每个Agent按最小必要原则获得提示词、交接文档和长期记忆。这种解耦降低了单Agent长程研究的上下文负担,也便于系统迭代,但代价是需要精心设计交接文档和记忆查询工具。
Q&A
小红书和亚马逊云科技合作的Research Agent主要解决什么问题?
主要解决推荐模型自迭代的问题,即使用Research Agent自动改进和优化推荐模型,以应对推荐模型优化中探索空间大、训练成本高的挑战。
为什么推荐模型的Agentic自迭代比一般机器学习任务更难?
有两个主要挑战:一是探索空间大,推荐模型架构持续演进,且数据处理、特征工程、训练目标设计等因素都影响效果,优化是系统性工程;二是训练成本高,单次训练可能消耗数十甚至数百小时GPU时长,无效尝试损失大,固定预算下可尝试次数少。
Wide-and-Deep探索策略中的Wide Branch和Deep Branch分别是什么?
Wide Branch用于对多个改进思路进行批量尝试,通过减少训练步数节省成本,初步验证可行性,固定以最初基线版本作为父节点;Deep Branch用于进一步推高当前最佳模型表现,无显式约束,可基于任何版本继续完善或融合多个版本的改进思路。
Research Agent系统是如何划分多智能体职责的?
按探索轮次拆分,每轮使用新Agent,通过长期记忆传递信息;一轮内顺序拆分为三个Agent:Proposal Agent负责提出改进思路和提案,Developing Agent负责代码实现与实验,Evaluation Agent负责评估模型并产出实验结论。
该方案在实验中取得了怎样的效果?
以RankMixer在KuaiRand数据集上训练,仅使用80 GPU·h(基线方案40%的训练时长预算),实现AUC提升1.88pp,较基线Agent方案提升约41%,且最佳模型使用了4类不同改进思路,探索多样性显著提升。
基线Agent存在哪些不足促使了Harness的重新设计?
基线Agent存在三个主要不足:难以实现持久改进,前30%时间就拿到76%总收益;研究方向快速收敛,86%训练时长押注同一方向;外部文献利用较差,读取论文操作仅占全部工具调用的2.7%且集中在前9小时。
Research Agent的评估体系包含哪些指标?
评估体系从评估粒度和证据权重两个支柱设计,包括黑盒指标(主任务ΔAUC、辅助任务ΔAUC)、玻璃盒指标(探索多样性、论文工具使用次数、数据集分析次数)以及主观指标(探索决策正确率)。