该研究通过引入反事实策略，解决了反事实方法在序列决策任务中的局限性，识别并最小化初始策略变更，以降低不良结果的概率。测试结果显示其在复杂任务中的应用潜力。

本研究提出了保守上下文强盗（CB）概念，以解决序列决策中的安全问题。C-SquareCB和C-FastCB算法在处理非线性臂成本时，能够高概率满足安全约束，并在实际数据中表现优于现有基线。

扩散模型与强化学习结合成为新兴方向。DDPO等算法直接优化扩散模型以提升图像质量、药物效果及人类偏好对齐；RGDM、DPOK、SPIN-Diffusion分别用于可控生成、文本到图像微调和模型细化。扩散模型也用于序列决策与规划，如Merlin实现目标导向决策。综述梳理了相关分类、应用与挑战。

本文综述了基于Thompson采样的序列决策算法进展，涵盖扩散模型先验学习、贝叶斯神经网络、动态协同过滤、连续动作空间上下文赌博机及变分推理等方法，旨在解决探索与利用权衡、遗憾最小化及跨任务元学习问题，并在广告点击率、市场优化等任务中验证了性能提升。