鹦鹉：多目标 Pareto 最优强化学习框架的文本到图像生成
内容提要
该文综述强化学习在生成任务中的研究：好奇心驱动框架提升视觉段落生成的多样性与准确性；多策略方法增强模型与多样世界的对齐；MultiPrompter将提示优化建模为协作博弈以提升文本到图像质量；ImageReward构建人类偏好奖励模型评估和改进图像合成；Text2Reward用大语言模型生成密集奖励函数，在机器人任务中表现优异；此外还涉及视觉对话、机器人操作、文本生成及提示适配的强化学习方法。
延伸解读
从单一奖励到多目标权衡
文章综述的多个工作显示，强化学习在生成任务中的奖励设计正从单一指标走向多目标平衡。好奇心驱动框架用预测不确定性构造密集固有奖励，以兼顾视觉段落生成的多样性与准确性；多策略方法则用多样奖励增强模型与多样世界的对齐。这说明实际应用中需明确不同目标间的取舍，而非追求单一分数最大化。
提示优化为何需要协作博弈
MultiPrompter将提示优化建模为提示者轮流协作组成提示的博弈过程，直接回应了强化学习在庞大提示空间中易收敛到次优策略的问题。协作机制缩小了搜索规模，并在文本到图像任务上生成比基准更高质量的图像。对读者而言，这提示提示工程不必依赖单次人工试错，而可借助结构化协作降低搜索难度。
人类偏好奖励模型的评估价值
ImageReward是首个通用文本到图像人类偏好奖励模型，训练数据涵盖评级与排名，包含137k个专家比较。人类评估中它超越CLIP等评分方法，可作为评估和改进图像合成的自动度量。其意义在于把主观偏好转化为可复用的奖励信号，但文章未说明其在所有场景下的泛化边界，使用时仍需注意适用范围。
LLM生成奖励函数的落地表现
Text2Reward用大语言模型生成紧凑环境的密集奖励函数，并迭代优化机器人操纵与运动任务。文章称其在13个操纵任务中成功率优于或与专家编写奖励函数相当，运动任务成功率超过94%，且具备模拟与真实世界部署能力。这表明奖励函数可由模型自动生成，但结果依赖任务设定，不能直接外推到所有机器人场景。
Q&A
好奇心驱动的强化学习框架（CRL）如何提升视觉段落生成的多样性和准确性？
CRL通过在长期决策过程中测量状态转移预测不确定性、引入由好奇心模块产生的密集固有奖励，并整合折扣模仿学习，共同提高视觉段落生成的多样性和准确性。
MultiPrompter 如何解决基于强化学习的提示优化中提示空间过大的问题？
MultiPrompter将提示优化建模为协作博弈，由多个提示者轮流共同组成提示，从而有效减小问题规模，帮助提示者学习到最优提示，在文本到图像任务中生成比基准模型更高质量的图像。
ImageReward 是什么？它在文本到图像生成中有什么作用？
ImageReward是第一个通用的文本到图像人类偏好奖励模型，基于涵盖评级和排名的数据集（包括137k专家比较）训练。在人类评估中，它超越了CLIP等评分方法，可作为评估和改进文本到图像合成的自动度量标准，并已通过image-reward包公开。
Text2Reward 如何利用大语言模型生成奖励函数，在机器人任务中表现如何？
Text2Reward基于大规模语言模型生成紧凑环境的密集奖励函数，实现对机器人操纵和运动任务的迭代优化。在13个操纵任务中成功率优于或与专家编写的奖励函数相当，运动任务成功率超过94%，证明在模拟和真实世界中均具备部署能力。
自适应提示适配框架如何结合预训练语言模型和强化学习来优化文本生成图像？
该框架先使用预训练语言模型进行有监督的微调，再使用强化学习探索更好的提示，通过奖励函数鼓励策略生成更具美感的图像。实验表明，自适应提示适配方法优于手动人工优化提示工程，预训练检查点已公开发布。
在文本生成中，如何通过反强化学习方法解决奖励稀疏和模式崩溃问题？
该论文提出采用反强化学习方法实现文本生成，即通过学习在训练数据上的奖励函数和最大化预期总奖励的最优策略函数，将奖励和策略函数进行优化。实验结果表明，该方法较之前的方法可以生成更高质量的文本。
