本研究提出了一种新方法——蒙特卡洛束搜索（MCBS），结合了束搜索、蒙特卡洛回路和TD3，有效解决了传统方法的探索不足问题。实验结果显示，MCBS在多个基准测试中优于传统TD3。

本研究针对6G网络中虚拟化网络功能（VNF）管理中的服务功能链（SFC）划分问题，提出了一种基于变换器的演员-评论家框架。该方法通过自注意机制有效建模VNF之间的复杂依赖关系，提升了训练的稳定性和收敛性，实验证明该框架在长期接受率、资源利用效率和可扩展性方面超越了现有技术。在6G环境下，为智能网络编排提供了一种可扩展且强大的解决方案。

本研究提出顾问-演员-评论家(AAC)方法，旨在解决强化学习在高精度控制任务中的稳态误差问题。AAC结合反馈控制理论与强化学习的自适应能力，通过顾问指导演员优化控制行为，从而显著提高目标实现的精度。基准测试结果表明，AAC在高精度任务中优于传统强化学习算法。

本研究解决了深度强化学习（RL）在高维数据中信贷分配效率的不足，提出了一种基于去相关反向传播算法的在线去相关新方法。通过将去相关矩阵融入到RL训练流程中，实验结果显示该方法在提高训练速度和奖励表现方面具有显著影响，尤其是在Atari 100k基准测试中，训练时间减少约50%。

本研究提出了一种结合软演员-评论家强化学习与数字孪生技术的方法，以解决智能制造中的适应性控制不足问题。该方法在机器人增材制造中实现了实时过程控制，展现出快速的策略收敛和稳健的任务执行能力，提升了增材制造的自适应实时控制能力。

本研究解决了演员-评论家算法的全局收敛性问题，显著改善了样本复杂性至 $O(\epsilon^{-3})$，超越了现有的局部收敛结果。通过证明评论家采用恒定步长足以确保期望收敛，与传统方法不同，我们的发现为依赖恒定步长的多种算法的实际成功提供了理论支持。

本研究提出了一种基于策略的强化学习方法，用于解决多无人机在未知环境中的探索挑战。该方法结合了近端策略优化和深度卷积神经网络与长短期记忆。实验证明该方法在避免碰撞的同时能够有效完成覆盖任务。

本文探讨贝叶斯方法在强化学习中的应用，强调其在动作选择和利用先验知识方面的优势。介绍了多种贝叶斯强化学习算法及其性能，提出了基于模型的新算法，强调样本效率和策略优化。这些方法在复杂环境中表现优越，适用于深度强化学习的多个领域。

本文研究了熵作为内在奖励在强化学习中的效果，特别是在软性演员-评论家（SAC）方法中。研究表明，熵奖励应谨慎使用，建议将其归一化为零或从策略评估中删除，以提升性能和鲁棒性。通过多项实验，提出的改进方法在多个控制任务中表现优越。

利用演员 - 评论家强化学习技术提高模型预测控制性能，通过演员模型提供初始猜测解以及评论家模型对轨迹进行评估确定最佳控制方案。

该研究探讨了将大型语言模型与离线喜好数据进行对齐的挑战，在特别关注强化学习从人类反馈中对齐的条件下。我们提出了一个新的离线偏好优化方法 SPAC，它通过自我对战来实现，灵感来自离线强化学习领域的平均悲观技术，将是第一个可证明且可扩展用于大规模应用的 LLM 对齐方法。我们在一款具有 Open LLM Leaderboard 评估的 7B Mistral...

这篇论文介绍了一种名为 Diffusion Actor-Critic（DAC）的方法，用于解决离线强化学习中价值函数过高估计的问题，并通过扩散模型来表示目标策略，进而通过 Kullback-Leibler（KL）约束策略迭代来规范化目标策略。该方法在 D4RL 基准上的实验表明，在几乎所有环境中，其性能优于现有的方法。

基于视频 - 语言评论家的奖励模型，可以在现有的跨体现数据上进行训练，使用对比学习和时间排序目标，对来自单独强化学习执行者的行为轨迹进行评分。在 Meta-World 任务中，通过在 Open X-Embodiment 数据上训练奖励模型，实现了比仅稀疏奖励模型更高效的策略训练，尽管存在显著的领域差异。使用 Meta-World...

本文介绍了一种新颖的基于模型的强化学习算法M2AC，该算法通过掩码机制根据模型可信度选择预测，显著提升了连续控制任务的性能。同时，研究了模型在策略优化中的作用，并提出了改进的样本效率方法，展示了在不确定环境下的应用潜力。

本研究探讨了强化学习中Actor-Critic算法的全局收敛性和最优性，证明了在使用神经网络时，算法以亚线性速率收敛于全局最优策略，并分析了共享神经结构和随机初始化对收敛性的影响，为神经策略梯度方法的优化提供了理论支持。

本研究利用深度强化学习控制器，实现了人形机器人在多种环境下的行走、转弯和爬楼梯等功能，具有强适应性和无需预训练的优点。通过模型预测损失函数，提升了四足机器人步行的样本效率，并结合在线规划和离线学习，提出了混合控制架构，增强了稳健性和脚步精确度。

本文提出了一种新的Mean Actor-Critic（MAC）算法，旨在优化离散动作连续状态的强化学习。该算法通过显式表示所有动作值来减少策略梯度估计的方差，并在多个控制领域和Atari游戏中表现出竞争力。此外，研究探讨了Actor-Critic算法的全局收敛性和最优性，提出了改进的性能界限，并在交通信号控制等应用中展示了其实用性。

该文综述强化学习中基于熵正则化的策略优化方法，包括样本感知熵正则化、最大熵演员-评论家算法（如SAC）、离线策略算法（BRAC）和演员集成算法（ACE），并探讨熵奖励在策略评估与改进中的作用及有限时间分析。

本文综述大语言模型批判能力研究，评估表明批判对多数模型仍具挑战性，自我批判尤为困难；提出自我检查、CritiqueLLM、CRITIC、MetaCritique等框架，利用外部反馈提升生成质量，并构建心理健康等领域基准。

该文综述贝叶斯强化学习进展，针对高维状态转移中不确定性建模的计算难题，提出乐观Actor-Critic、Wasserstein Actor-Critic、贝叶斯探索网络BEN及PACER等算法，利用置信区间、Wasserstein重心、归一化流和推进算子提升探索效率与采样性能，并在MuJoCo等连续控制任务中验证优于现有方法。