本文讨论了后训练中的强化学习，重点介绍马尔可夫决策过程（MDP）、轨迹、回报、策略、价值函数和优势函数。强调了在语言模型生成中，奖励通常在序列末尾出现，导致信用分配和稀疏奖励问题。通过定义和贝尔曼期望方程，探讨了将语言生成视为MDP及其策略优化的挑战。

REINFORCE方法通过回报加权优化不可微奖励，但在语言模型中方差过高。Actor-Critic方法将策略与价值函数分开训练，利用广义优势估计（GAE）在Monte-Carlo回报与时间差分（TD）引导之间平衡偏差和方差。Critic帮助构造优势估计，降低策略更新的方差。GAE通过加权多步TD残差，结合折扣因子B3和BB控制未来奖励的影响和优势估计的稳定性。

后训练是一个复杂的数据流水线，包含多个阶段，如SFT、奖励模型和策略优化。每个阶段旨在将预训练模型转变为更符合人类指令和偏好的模型。SFT主要调整回答格式，奖励模型提供训练信号，策略优化提升生成候选的能力。评测确保模型的安全性和准确性，整体流程强调数据回流和持续优化，以提升模型性能和可靠性。

本研究提出了Pass@K策略优化(PKPO)方法，解决了传统强化学习算法在样本独立优化中多样性不足的问题。该方法通过优化pass@k性能，提升了复杂任务中的学习能力。

本文提出了一种新的训练方法J4R，旨在提升大语言模型（LLM）在复杂推理中的评估能力。通过等效初始状态组相对策略优化算法（EIS-GRPO），J4R在多样化推理设置中表现优异，超越了现有模型，显示出显著的性能提升和应用潜力。

本研究提出了一种新方法，解决强化学习代理在持续学习中如何保留和利用已有知识的挑战。通过整合策略优化与自编码器，系统能够有效识别新任务或环境，并在再次遇到已知环境时选择性检索相关知识。初步结果显示该方法在持续学习中具有潜力。

本研究探讨了受监控的马尔可夫决策过程（Mon-MDPs）中不可观察奖励的问题。通过函数逼近方法，智能体能够从可观察奖励的状态泛化到不可观察奖励的环境状态。为了解决过度泛化导致的奖励错误推断，提出了一种基于奖励不确定性的谨慎策略优化方法。

本研究提出了一种组方差策略优化（GVPO）方法，以解决后训练中的不稳定性问题，确保奖励最大化与最优策略的一致性，从而提供可靠且灵活的后训练范式。

本文讨论了群体相对策略优化（GRPO）及其与策略优化（PO）的关系，重点在于GRPO的优势计算方法。GRPO通过不同的响应来估计优势，简化了传统的价值模型需求。研究表明，优化策略需关注样本长度和优势计算，以提高推理模型的性能。

本研究探讨了深度强化学习中如何从随机网络初始化学习最佳策略，提出了隐式策略学习器TIPL，利用Transformer进行轨迹建模，并通过自回归处理策略网络权重。实验结果表明，TIPL能够有效优化策略网络。

本研究介绍了Kimi k1.5，采用创新方法训练多模态大语言模型，解决了现有强化学习在竞争性和数据利用上的不足。研究表明，改进的策略优化和上下文扩展使其在多个基准测试中表现优异，具有显著的潜在影响。

本研究提出了一种新颖的对齐方法——逐步扩散策略优化（SDPO），有效解决了现有对齐方法在少步扩散模型中的泛化不足问题。实验结果表明，SDPO在奖励基础对齐方面优于以往方法，展现出强大的泛化能力。

本研究针对传统强化学习中的稀疏奖励问题，提出了一种逐步奖励优化策略，以提升智能体在复杂任务中的表现。通过比较专家与代理的动作，自动生成中间奖励，实现更精细的策略优化，实验结果表明该方法优于现有基线。

该研究比较了强化学习中的优化标准，提出了一种新方法以最小化Bellman残差，实验表明直接最大化平均值效果更佳。同时，研究探讨了探索与利用的平衡，提出了不确定性Bellman方程和熵正则化奖励函数，以提高强化学习的效率和策略优化。

本文研究了在机器人任务中通过自主互动学习和半监督学习动态生成奖励函数的方法。提出的中继策略学习和Optimal Transport Reward算法显著提升了机器人在复杂任务中的表现，尤其是在厨房模拟和手术机器人领域，实验结果表明这些方法在学习稠密奖励和策略优化方面具有明显优势。

本文介绍了一种基于线性时序逻辑（LTL）的强化学习方法，旨在解决机器人复杂任务的学习问题。研究提出了多种算法，通过将LTL规范转化为奖励函数，优化策略搜索，增强鲁棒性，并在仿真实验中验证了其有效性。