Apple Machine Learning Research
·
强化代理：工具调用代理的推理时反馈
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
本文介绍了一种新型工具调用代理的评估方法，通过推理时的反馈提升工具选择和参数准确性。研究提出“有用性-有害性”指标，量化反馈的正负效应，以优化代理模型选择和提示设计。实验结果表明，分离执行与评审的架构能有效提高代理性能，避免重新训练基础代理。
🎯
关键要点
-
本文提出了一种新型工具调用代理的评估方法，通过推理时的反馈提升工具选择和参数准确性。
-
研究引入了“有用性-有害性”指标，量化反馈的正负效应，以优化代理模型选择和提示设计。
-
实验结果表明，分离执行与评审的架构能有效提高代理性能，避免重新训练基础代理。
-
评审代理在执行前评估临时工具调用，从而实现主动评估和错误缓解。
-
有用性指标衡量反馈纠正的基础代理错误比例，有害性指标衡量反馈降低的正确响应比例。
-
选择合适的评审模型对提高代理性能至关重要，o3-mini模型的效益风险比为3:1，而GPT-4o为2.1:1。
-
自动化提示优化通过GEPA提供额外的1.5-2.8%的性能提升。
❓
延伸问答
什么是工具调用代理的评估方法？
工具调用代理的评估方法通过推理时的反馈提升工具选择和参数准确性，采用分离执行与评审的架构。
‘有用性-有害性’指标的作用是什么？
‘有用性-有害性’指标用于量化反馈的正负效应，以优化代理模型选择和提示设计。
如何提高代理的性能？
通过选择合适的评审模型和自动化提示优化，可以有效提高代理的性能。
评审代理在执行前的作用是什么？
评审代理在执行前评估临时工具调用，实现主动评估和错误缓解。
o3-mini模型与GPT-4o模型的效益风险比有什么不同？
o3-mini模型的效益风险比为3:1，而GPT-4o为2.1:1，表明o3-mini模型在性能上更具优势。
自动化提示优化的效果如何？
自动化提示优化通过GEPA提供额外的1.5-2.8%的性能提升。
➡️
