一分钟读论文：《最佳选手未必是最佳教练》
内容提要
加州大学伯克利分校研究发现，大语言模型的自动化与增强能力几乎不相关，模型排名因角色而异。在7个真实任务中，增强冠军与自动化冠军多非同一模型，指导有时甚至降低工人表现。研究建议模型选型应依据具体角色，而非单一榜单。
延伸解读
角色错位：自动化强不等于增强强
论文发现，模型在自动化任务中的排名与在增强任务中的排名几乎不相关（Spearman 相关仅 0.48，p=0.187）。例如，Claude-Opus-4.8 在自动化任务中排名第 2，但在增强任务中却排名倒数第二；GPT-4.1 则相反。这意味着，一个模型可能擅长直接产出结果，但不擅长给出有效的指导。因此，在选择模型时，不能只看其自动化能力，而应根据具体角色（自动化或增强）来评估。
指导可能帮倒忙：基线胜过受助条件
在运筹、报税和旅行规划三个任务中，无指导的 GPT-3.5-Turbo 基线排名第一，胜过所有受助条件。这表明，不恰当的指导可能降低工人表现。作者认为，指导的价值依任务而定，甚至可能为负。因此，在实际应用中，需要谨慎评估指导的必要性和质量，避免盲目引入增强模式。
选型应基于角色而非单一榜单
研究强调，自动化能力是协助质量的不完全代理，合适的模型取决于其扮演的角色和任务类型。例如，GPT-5-Mini 是唯一在两种模式下都排名第一的模型，但其他模型表现各异。因此，企业在选择模型时，应依据具体角色（如自动化或增强）和任务需求进行测试，而不是依赖单一的综合排名。
研究局限：结论需谨慎推广
作者指出，该研究是 pilot 研究，存在局限：依赖 LLM 评审而非人类专家，可能引入偏差；只测试一次性指导，未涉及多轮交互；工人固定为 GPT-3.5-Turbo，结论可能不适用于其他工人；任务和重复次数有限。因此，虽然发现角色间相关性低，但结论的普适性有待进一步验证，应用时需谨慎。
Q&A
大语言模型的自动化能力和增强能力有什么关系？
研究发现，大语言模型的自动化能力与增强能力几乎不相关，模型排名因角色而异。在7个真实任务中，增强冠军与自动化冠军多非同一模型，模型级Spearman相关仅0.48，与零不可区分。
CentaurBench是什么？
CentaurBench是加州大学伯克利分校DIAL实验室提出的基准，用于评测大语言模型在自动化与增强两种角色下的能力。它使用统一框架在7个真实工作任务上评测9个助手模型，每任务独立重复10次。
在CentaurBench中，自动化模式和增强模式有什么区别？
自动化模式下，助手模型直接产出交付物；增强模式下，助手只写一段200-250词的过程性指导文本，实际交付物由固定的工人模型GPT-3.5-Turbo完成。
哪些模型在自动化与增强排名中出现了反转？
在市场趋势任务中，Claude-Opus-4.8自动化排名第2.05，但增强排名仅8.15；在咨询任务中，GPT-4.1增强排名3.80，但自动化排名仅7.40。
指导有时会降低工人表现吗？
是的，无指导的GPT-3.5-Turbo基线在运筹、报税、旅行规划三个任务上排名第一，胜过所有受助条件。作者认为指导的价值依任务而定，匹配不当或过于复杂的指导可能让工人表现更差。
CentaurBench研究有哪些局限性？
局限性包括：依赖LLM评审而非人类专家判断；增强只测一次性指导文本，未测多轮交互；工人固定为GPT-3.5-Turbo，结论可能无法迁移到其他工人；7个任务、10次重复的覆盖面有限。
根据CentaurBench，模型选型应该依据什么？
模型选型应依据具体角色和任务，而非单一榜单。自动化能力是协助质量的不完全代理，合适的模型取决于它扮演的角色与支持的任务。
