非平稳潜在自回归赌博算法

非平稳多臂赌博机中，重启策略算法是如何平衡利用和探索的？

本文提出了一种基于重启策略的算法，通过定期重启来平衡利用和探索，并证明了其动态遗憾值，同时解决了现有算法中的严重技术缺陷。

在非平稳环境中，如何实现风险感知的自适应策略？

Mar, 2021 提出了一种自适应风险感知策略框架，结合多种风险度量标准，将多臂赌博算法映射到风险感知设置，并集成重启贝叶斯在线变点检测和强制探索策略，以检测每个臂的切换，提供有限时间理论保证和渐进损失界限，在合成和现实环境中性能优于现有技术。

对于Hölder连续奖励的两臂赌博机问题，遗憾界有什么理论结果？

对于平均奖励是Hölder函数（绝对阶数≤β）的两臂赌博机，本文展示了平滑和非平滑情况的首个分离，提出了一种策略以T^(3/5)遗憾为代价，并证明了对于任何整数β≥1的下限为T^((β+1)/(2β+1))，与β=2时的上限匹配。

潜在赌徒问题中，如何利用UCB和Thompson采样来识别潜在状态？

本文提出了一种基于UCB和Thompson采样的算法，用于解决潜在赌徒问题，即智能体在未知离散潜在状态下知道手臂奖励分布，目标是识别潜在状态。算法在模型不确定性和规格不准确时具有上下文感知能力，理论分析表明当潜在状态数量小于行动数时优于传统策略。

如何通过奖励置信度检测环境变化并更新臂选择策略？

本文介绍了一种上下文赌博算法，基于奖励估计置信度来检测环境变化，并相应地更新臂选择策略，严格的上限遗憾分析证明了其在非平凡环境中的学习效果。

在无贝叶斯假设下，如何通过元策略学习解决多臂老虎机问题？

该研究提出了一种适用于无贝叶斯假设的多臂老虎机问题求解方法，在非贝叶斯假设且马尔可夫链参数未知时，通过元策略学习最优策略，并在未知动态信道的机会式频谱访问问题中取得了接近对数级的损失值，是该领域首个实现此类结果。

带Markov奖励的多臂赌博机中，指数策略的遗憾性能如何？

对于带Markov奖励的多臂赌博机，玩一只手臂时其状态按Markov方式更改，不玩时保持冻结，玩家获得与状态相关的奖励，状态转移概率未知。本文证明在状态转移概率满足一定条件下，基于样本均值的指数策略能在总试验次数上实现对数遗憾，且样本均值指数策略不会降低最优性。此外，通过选择小的探索参数，UCB可以比Anantharam的指数策略拥有更小的遗憾。

黑盒方法如何将平稳环境下的优化遗憾转化为非平稳环境下的动态遗憾？

本文提出一种黑盒化方法，将某些强化学习算法在（近）平稳环境下的优化遗憾转化为非平稳环境下的优化动态遗憾，且不需要事先了解非平稳度。通过插入不同算法，该方法可以重构最近的特殊算法，并显著改进广义线性赌博机、周期性马尔科夫决策问题和无限时间马尔科夫决策问题的状态，在大多数情况下达到最优动态遗憾。

折扣UCB和滑动窗口UCB在非稳态赌徒问题中的遗憾下界是什么？

本文研究了分布保持不变但在未知时间发生改变的非稳态赌徒问题，研究了折扣上限置信区间和滑动窗口上限置信区间两种算法。通过Hoeffding不等式得到了滑动窗口UCB的上界，对不优赌博机被玩的次数期望进行了上界估计，并证明了存在突然性改变时的遗憾下界，证明了折扣UCB和滑动窗口UCB的匹配下界一致性。

基于子模最大化的算法如何优化K个老虎机任务中最佳M个机器臂的最佳子集？

本文研究了一种基于子模最大化的算法，可以优化K个老虎机任务中最佳M个机器臂的最佳子集，表现出比标准算法更小的代价，同时解决了未知和已知任务边界的问题。