PRewrite: 提示重写与强化学习
内容提要
本文综述自动提示工程研究，涵盖利用预训练语言模型微调与强化学习优化提示以提升图像生成美感、构建元提示引导大模型、长提示搜索算法在Big Bench Hard八项任务上平均提升9.2%、结合提示与强化学习控制聊天机器人输出、RLPrompt生成离散提示、提示建模原则与插件减少幻觉、借鉴众包思想的声明性提示工程、Prompt-OIRL用离线逆强化学习评估提示，以及MultiPrompter以协作博弈优化文本到图像提示。
延伸解读
自动提示工程的多路径探索
文章综述了多种自动提示工程方法，包括基于微调与强化学习的提示适配、元提示构建、长提示搜索算法、RLPrompt生成离散提示、Prompt-OIRL离线逆强化学习评估以及MultiPrompter协作博弈优化。这些方法从不同角度应对提示设计的挑战，例如搜索效率、黑盒模型兼容性和提示空间过大等问题，展示了该领域从手动优化向自动化、原则化方向发展的趋势。
强化学习在提示优化中的优势与挑战
强化学习被用于生成可解释的提示，并与黑盒基础模型兼容，但庞大的提示空间常导致策略收敛到次优解。MultiPrompter通过将提示优化建模为协作博弈，让多个提示者轮流共同构建提示，有效减小问题规模并学习到最优提示，在文本到图像任务上生成更高质量的图像。这表明协作机制是缓解强化学习搜索难题的一种可行思路。
提示工程的原则化与评估方法
文章提到声明性提示工程借鉴众包思想，将LLM视为众包工作者，采用多种提示策略、确保内部一致性并探索混合LLM-非LLM方法，使提示工程更有原则。同时，Prompt-OIRL利用离线逆强化学习评估提示，在四个LLM和三个算术数据集上验证有效性，并释放代码和离线数据集，为提示评估提供了可负担的解决方案。
Q&A
自动提示工程中，如何利用强化学习来优化图像生成的美感？
该研究提出了一种文本生成图像的自适应提示适配框架：先使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像。实验结果表明，该方法优于手动人工优化提示工程。
长提示搜索算法在Big Bench Hard任务上效果如何？
研究证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。在Big Bench Hard的八个任务中实现了平均9.2%的准确度提升。
RLPrompt是什么？它有什么特点？
RLPrompt是一种基于强化学习的离散提示优化方法，旨在有效地生成适合不同类型预训练语言模型使用的离散提示，并在极少量的下游数据情况下表现出优异的表现。
如何将提示与强化学习结合来控制聊天机器人的输出？
本文提出了将prompting和reinforcement learning相结合的方法以控制chatbot生成的内容，并通过multi-task learning提高该方法的泛化能力和适应性，实验证明所提出的方法可以成功控制多个SOTA Dialogue Models。
Prompt-OIRL方法解决了什么问题？
Prompt-OIRL是一种根源于脱机逆强化学习的方法，旨在弥合有效提示评估和可承受性之间的差距，并在四个LLM和三个算术数据集上验证了有效性。
MultiPrompter框架如何优化文本到图像的提示？
MultiPrompter将提示优化视为一种在协作博弈中由提示者轮流共同组成提示的过程。这种协作提示优化有效地减小了问题的规模，并帮助提示者学习到最优提示。在文本到图像任务上测试表明，其生成图像质量高于基准模型。
