一分钟读论文：《不会解题的 0.5B 小模型，反而成了大模型的运行时顾问》
内容提要
新加坡国立大学提出COTA框架，利用0.5B小模型比较候选动作而非直接解题，在运行时干预大模型智能体，在9个组合上均获最佳性能，平均开销1.38倍。关键在成对比较与建设性干预，直接接管会导致崩溃。成本有边界，部分环境开销较高。
延伸解读
比较比求解便宜，但前提是“不接管”
论文的核心发现是，0.5B小模型通过成对比较候选动作，就能有效干预大模型智能体，而无需自己会解题。但消融实验显示，若直接执行小模型的偏好动作，性能会急剧下降（如ALFWorld成功率从57.46%崩到2.24%）。这说明小模型的比较信号只有在actor保留决策权、仅作为建议时才有用。这提示我们，在类似设计中，干预机制的选择与学习目标同样关键，不能简单替换动作。
成本有边界，并非所有环境都“便宜”
虽然COTA平均端到端开销仅为原actor的1.38倍，但并非所有环境都如此。在tau3-Retail环境中，开销高达2.024倍，因为候选生成需要额外调用一个小LLM。这表明“比较比求解便宜”的结论有适用条件，实际部署时需评估具体环境的额外开销，不能一概而论。
与“筛选比采样难”互补，但结论有边界
论文结论与“测试时扩展：瓶颈在筛选，不在采样”互补，强调比较比求解更便宜且够用。但作者明确指出，结果限定在3个actor×3个环境的特定组合内，不能外推为通用有效。基线Self-Reflection在所有设置上变差，也只是这些基线下的对比结果，不代表self-reflection本身无用。这提醒我们，在引用此类结论时需注意其适用范围。
Q&A
COTA框架的核心思想是什么？
COTA框架的核心思想是“比较而非求解”：用一个0.5B的小模型作为顾问，在运行时比较候选动作的优劣，而不是直接解题或生成动作，从而为大模型智能体提供干预建议。
COTA框架是如何实现运行时干预的？
COTA框架中，actor模型提出下一步动作后，系统会从同一前缀采样多个候选动作，由0.5B的comparator进行成对比较，选出更优的候选。当触发干预时，不直接替换动作，而是将更优候选作为非约束性建议返回给actor，由actor自行重规划。
为什么COTA框架不能直接接管动作？
因为0.5B的小模型没有独立执行动作的能力，直接接管会导致性能崩溃。消融实验显示，强行执行顾问偏好动作时，ALFWorld成功率崩到2.24%，tau3-Retail崩到4.17%；而采用建设性干预（返回建议由actor重规划）后，分别恢复到57.46%和16.67%。
COTA框架在哪些环境和模型上进行了评测？结果如何？
COTA在3个actor（Qwen3-8B、Qwen3.6-35B-A3B、DeepSeek-V4-Flash）和3个环境（WebShop、ALFWorld、tau3-Retail）共9个组合上进行了评测，全部取得最佳成绩。例如，Qwen3-8B在WebShop的奖励从0.3960提升到0.5630，ALFWorld成功率从82.84%提升到90.30%，tau3-Retail从37.50%提升到45.00%。
COTA框架的成本开销如何？
COTA的平均端到端episode时间是原actor的1.38倍，9个设置中7个低于1.5倍，但部分设置较高，如tau3-Retail达到2.024倍（Qwen3-8B行），因为该环境需要额外调用一个小LLM生成候选。
COTA框架与Self-Reflection、AgentPRM等基线相比表现如何？
COTA在9个组合上全部优于基线。Self-Reflection（让actor自我审视修正）在9个设置上全部变差；AgentPRM和Asym-AC（缩小干预模型但保留解题式纠错目标）也全面落后于COTA。
