PromptAgent将提示优化视为策略规划问题，利用蒙特卡洛树搜索在提示空间中系统探索：从初始提示出发，通过反思基础模型的错误生成反馈，迭代改写提示，并预测未来回报以选择最优路径。在BBH、生物医学和通用NLP共12个任务上，其优化提示显著优于人工提示、思维链及APE等方法，平均提升约7%至28%，且优化后的提示可迁移至GPT-4、PaLM 2等模型，探索效率更高。