基于专家建议的留投区随机选择问题
内容提要
本文综述了多臂赌博与主动学习领域的多项研究，涵盖放弃反馈、非稳态赌博、分散协作、预算限制及在线弃权预测等方向，提出多种UCB类算法，均具理论遗憾保证并经实验验证。
延伸解读
理论保证与实验验证并重
文章综述的多项研究均强调理论遗憾保证与实验验证相结合。例如，基于池的主动学习算法具有近似最优保证，并在实际情况下验证；非稳态赌博算法通过Hoeffding不等式得到上界并证明下界匹配；分散协作UCB算法在遗憾方面不劣于单代理UCB1，且实验证实其优点。这种双重验证增强了研究的可靠性。
算法适应性与鲁棒性
针对不同场景，研究者设计了适应性算法。如折扣UCB和滑动窗口UCB应对非稳态赌博；完全分散的鲁棒UCB通过信息混合和截断步骤处理不一致和极端值；基于乘数bootstrap的UCB在更弱尾部假设下工作。这些算法展示了在动态或对抗环境中的鲁棒性。
跨领域方法融合
综述涵盖了多臂赌博、主动学习、在线学习等多个领域，但方法相互借鉴。例如，放弃反馈的主动学习与在线弃权预测问题相关；m-MAB插值两种信息观察方式；CAB算法结合上下文推荐与探索利用平衡。这种融合促进了算法创新。
Q&A
基于池的主动学习中，如何处理放弃反馈问题？
采用贝叶斯方法，提出两种贪心算法，同时学习分类问题和未知的放弃率，并证明具有近似最优保证。
m-MAB问题是什么？有哪些理论结果？
m-MAB是一种插值两种不同信息观察方式的在线决策问题，研究给出了紧凑极小后悔界，并为纯探索版本m-BAI设计了最佳PAC算法，还将结果扩展到图反馈情景。
非稳态赌徒问题中，折扣UCB和滑动窗口UCB算法有何理论保证？
通过Hoeffding不等式得到滑动窗口UCB的上界，对不优赌博机被玩的次数期望进行上界估计，并证明在存在突然性改变时的遗憾下界，以及两种算法的匹配下界一致性。
分散合作多臂赌博中如何提高正常代理的表现？
开发一种完全分散的鲁棒上置信界算法，将信息混合步骤与不一致和极端值的截断步骤结合，以恢复有效行为。该算法在遗憾方面不劣于单代理UCB1，且所有正常代理的累积遗憾严格优于非合作情况。
随机预算多臂赌博问题中，ω-UCB策略有什么优势？
ω-UCB是一种新的上置信界采样策略，使用不对称置信区间，具有对数遗憾，并在合成和真实设置中始终优于现有策略。
在线学习中算法弃权不预测的问题如何解决？
展示了现有在线算法和保证如何适应弃权问题，并给出了新算法UCB-GT，它利用历史数据并适应于随时间变化的反馈图。
