宝玉的分享 ·

PromptAgent：借助语言模型进行策略性规划，达到专家级的提示优化 [译]

💡 原文中文，约32500字，阅读约需78分钟。

📝

内容提要

PromptAgent将提示优化视为策略规划问题，利用蒙特卡洛树搜索在提示空间中系统探索：从初始提示出发，通过反思基础模型的错误生成反馈，迭代改写提示，并预测未来回报以选择最优路径。在BBH、生物医学和通用NLP共12个任务上，其优化提示显著优于人工提示、思维链及APE等方法，平均提升约7%至28%，且优化后的提示可迁移至GPT-4、PaLM 2等模型，探索效率更高。

🔎

延伸解读

策略规划如何提升提示优化效率

PromptAgent 将提示优化建模为马尔可夫决策过程，并利用蒙特卡洛树搜索（MCTS）进行策略规划。与贪婪搜索或波束搜索相比，MCTS 能预测未来回报并回溯调整，从而在探索提示空间时更高效。实验显示，在相同探索预算下，PromptAgent 在多个任务上性能更优，且探索的提示数量更少，体现了策略规划在平衡探索与利用方面的优势。

优化提示的跨模型迁移能力与局限

在 GPT-3.5 上优化的提示可直接应用于 GPT-4 和 PaLM 2。在 GPT-4 上，优化提示在 11/12 个任务中达到或超过基线；在较弱的 PaLM 2 上，也在 7/12 个任务中优于基线。这表明专家级提示具有较好的通用性，但迁移效果受基础模型能力影响，较弱模型可能难以完全捕捉提示中的细微指导。

错误反馈驱动的提示迭代机制

PromptAgent 的核心在于利用基础模型犯的错误生成反馈，并据此迭代改写提示。优化器模型（如 GPT-4）分析错误原因，将领域知识融入新提示，逐步逼近专家水平。这种基于错误的行动设计，使提示优化过程更具方向性，避免了盲目搜索，从而在生物医学等专业领域显著缩小了新手与专家的差距。

实验覆盖范围与性能提升幅度

研究在 BBH、生物医学和通用 NLP 共 12 个任务上评估了 PromptAgent。相比人工提示、思维链和 APE 等方法，其优化提示平均提升约 7% 至 28%。在 BBH 任务上，相对人工提示提升 28.9%，相对 CoT 提升 9.5%，相对 APE 提升 11.2%。这些结果说明，系统化的提示优化能带来实质性的性能增益，尤其在需要专业知识的任务中。

❓

Q&A

PromptAgent 是什么？它主要解决什么问题？

PromptAgent 是一种能够自动生成专家级提示的优化框架。它旨在解决现有提示优化方法难以融入领域知识、无法系统探索庞大提示空间的问题，通过策略性规划自动创建出与人类专家手工设计相媲美的高质量提示。

PromptAgent 是如何工作的？它的核心机制是什么？

PromptAgent 将提示优化视为策略规划问题，采用蒙特卡洛树搜索（MCTS）在提示空间中系统探索。它从初始提示出发，通过反思基础模型的错误生成反馈，迭代改写提示，并预测未来回报以选择最优路径。具体包括选择、扩展、模拟和回传四个步骤，利用状态-动作价值函数指导搜索。

PromptAgent 在哪些任务上进行了测试？效果如何？

PromptAgent 在 12 个任务上进行了测试，涵盖 BIG-Bench Hard（BBH）、生物医学领域任务和通用 NLP 任务。结果显示，其优化后的提示显著优于人工提示、思维链（CoT）及 APE 等方法，平均性能提升约 7% 至 28%。例如在 BBH 任务上平均准确率达到 0.802，远超 CoT 的 0.707。

PromptAgent 优化后的提示可以迁移到其他大语言模型上吗？

可以。在 GPT-3.5 上优化后的提示直接应用于 GPT-4 和 PaLM 2 时，仍能保持良好性能。在 GPT-4 上，11/12 个任务达到或超过人工和 APE 提示的水平；在较弱的 PaLM 2 上，也有 7/12 个任务超过基线，展现了专家级提示的通用性和可迁移性。

PromptAgent 与 APE、CoT 等基线方法相比有什么优势？

PromptAgent 的优势在于：1) 通过策略性规划系统探索提示空间，而非局部编辑；2) 利用错误反馈生成专家级见解，融入领域知识；3) 探索效率更高，在较少节点下达到更高性能；4) 在 12 个任务上全面超越人工提示、CoT 和 APE，平均提升显著。

PromptAgent 的探索效率如何？是否比盲目搜索更高效？

PromptAgent 的探索效率很高。实验表明，它在探索较少提示节点的情况下就能达到更高的准确率，数据点集中在“高性能-低探索”区域。相比贪婪搜索和 APE 的盲目搜索，PromptAgent 通过策略性规划实现了性能与效率的最佳平衡。

🏷️