InfoQ
·
OpenAI在QCon AI NYC：企业的微调
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
在2025年QCon AI NYC大会上，OpenAI的Will Hang介绍了Agent RFT，这是一种强化微调方法，旨在提升工具使用代理的性能。他强调了优化提示和任务的重要性，并提出了监督微调和偏好优化等多种微调选项。Hang指出，强化微调适合需要探索策略的任务，并强调了在整个轨迹中进行信用分配的重要性。Zi展示了实际应用案例，强调了在工具调用预算下的有效内容定位。
🎯
关键要点
- 在2025年QCon AI NYC大会上，Will Hang介绍了Agent RFT，这是一种强化微调方法，旨在提升工具使用代理的性能。
- 强调优化提示和任务的重要性，包括简化要求、添加保护措施、改善工具描述和输出。
- 微调选项被描述为一个光谱，包括监督微调、偏好优化和强化微调。
- 强化微调适合需要探索策略的任务，强调在整个轨迹中进行信用分配的重要性。
- Agent RFT适用于工具使用代理，模型在训练过程中探索不同策略并从评分者那里获得学习信号。
- 工具输出流回同一上下文窗口，工具调用、输出、推理标记和最终响应形成单一的多步骤轨迹。
- 强调操作属性不仅仅通过答案准确性来捕捉，包括减少不必要的工具调用和执行预算。
- Wenjie Zi展示了实际应用案例，包括在有限工具调用预算下定位相关内容的金融示例。
- Zi还描述了在多个领域的更广泛示例，强调规划改进、减少长轨迹尾部和并行工具调用的转变。
- 开发者可以查看OpenAI的强化微调和模型优化文档，了解更多信息。
➡️
