上下文决斗赌徒的良好感知汤普森抽样
内容提要
本文提出了一种改进的汤普森抽样策略，旨在解决探索不足的问题，并提供了理论证明。研究涵盖了基于在线最小二乘回归的频率分析、贝叶斯思想的算法泛化以及新型深度神经网络算法，展示了在多臂老虎机和上下文赌博问题中的有效性和优越性。
延伸解读
理论保证的双重路径
文章为汤普森抽样提供了贝叶斯遗憾界和频率遗憾界的理论证明，并基于在线最小二乘回归获得与下界匹配的频率分析。这表明算法不仅在贝叶斯框架下有保证，在频率视角下也具备最优性，为后续推广到线性嵌入式上下文匹配问题奠定了理论基础。
算法泛化与效率提升
针对随机上下文多臂老虎机，文章设计了基于贝叶斯思想的汤普森抽样泛化版本，并给出首个理论保证。同时，改进的Polya-Gamma配分算法通过快速推理程序，在逻辑上下文bandits中实现快速收敛，提升了传统算法的效率。
深度与广义线性扩展
文章介绍了基于深度神经网络和贝叶斯推断的神经汤普森抽样，实验证实其性能与同类算法匹配。此外，基于在线随机梯度下降的广义线性赌博机算法在探索与利用间取得平衡，总时间复杂度与轮次和特征数成线性，并实现O(T)遗憾。
双重稳健与决斗应用
DR汤普森抽样利用双重稳健估计器提供先验概率的最坏情况保证，实践中优于LinTS。D-TS算法将汤普森抽样用于决斗bandit问题，适用于一般Copeland决斗bandits，并在合成和真实数据上验证了效率。
Q&A
改进的汤普森抽样策略有什么主要优点？
该策略旨在缓解探索不足的问题，并提供了理论证明，确保在多臂老虎机和上下文赌博问题中的有效性。
什么是DR汤普森抽样算法？
DR汤普森抽样算法是一种多臂上下文赌博算法，利用双重稳健估计器提供先验概率的保证率。
如何通过贝叶斯思想改进汤普森抽样算法？
通过设计一种基于贝叶斯思想的算法泛化版本，解决随机上下文多臂老虎机问题，并提供理论保证。
神经汤普森抽样算法的性能如何？
神经汤普森抽样算法的性能与同类算法相匹配，实验结果证实了其有效性。
改进的Polya-Gamma配分的汤普森抽样算法有什么特点？
该算法通过快速推理程序解决逻辑上下文bandits的遗憾最小化问题，能够快速收敛。
广义汤普森抽样算法的应用是什么？
广义汤普森抽样算法作为专家学习框架下的启发式算法，量化了“先验”分布对遗憾界的影响。
