本文介绍了一种基于汤普森抽样的强化学习策略，利用Langevin Monte Carlo从后验分布中抽取Q函数，能够有效学习并在深度强化学习中表现优异。研究提出了改进算法，解决了探索与利用的平衡问题，并在多臂赌博问题中展示了良好的性能。

本文综述Thompson抽样在上下文强化学习中的效率，提出用Langevin Monte Carlo和MCMC直接从后验分布采样，避免高维高斯近似，并证明其具有次线性收敛速度。相关研究涵盖基于Langevin采样的Q函数强化学习策略、欠阻尼Langevin扩散的MCMC算法及其复杂度优势，以及过阻尼与欠阻尼Langevin MCMC在非凸优化中的迭代复杂度分析。