学习使用 Bandit 反馈调度在线任务
内容提要
本文综述在线资源分配与调度的多项研究，涵盖未知预测质量下的渐进最优、贝叶斯学习与汤普森抽样用于公共卫生干预、分布式在线学习框架、指数加权算法处理任务转移、可复用资源的在线任务分配、无人机物联网任务调度、延迟反馈MDP在线学习、随机截止时间调度与Whittle指数、在线分组调度竞争比改进，以及多任务在线学习元算法。
延伸解读
从理论到应用：在线调度研究的多样性
文章汇总了在线资源分配与调度的多项研究，时间跨度从2013年到2024年，应用场景涵盖公共卫生干预、无人机物联网、拼车众包等。这些研究共同关注在不确定环境下如何优化决策，但各自针对的问题模型和约束条件不同，例如有的侧重预测质量未知，有的处理延迟反馈。读者可借此了解该领域的广泛性和演进脉络。
核心方法：赌博机模型与强化学习的融合
多项研究采用多臂赌博机、汤普森抽样、强化学习等方法。例如，基于贝叶斯学习和汤普森抽样的上下文多臂赌博机用于公共卫生干预；指数加权方法处理任务转移；风险敏感强化学习用于无人机调度。这些方法旨在平衡探索与利用，以应对动态变化和不确定性，体现了在线学习在调度问题中的核心作用。
性能保证：渐进最优与后悔界
文章多次提到算法性能的理论保证，如渐进最优、次线性后悔、竞争比改进等。例如，在未知预测质量下实现渐进最优；指数加权算法具有次线性时间后悔；在线分组调度提高了竞争比。这些保证为算法在实际应用中的有效性提供了理论支撑，但具体条件（如预测准确性、任务到达率）会影响实际表现，读者需注意适用边界。
Q&A
在未知预测质量和请求模型下，如何实现在线资源分配的渐进最优？
提出一种算法，在未知预测质量和请求模型的情况下，实现渐进最优表现，其性能与任何已知到达模型和预测准确性的算法的最佳性能相匹配。
汤普森抽样在公共卫生干预资源分配中有什么应用？
基于贝叶斯学习和汤普森抽样的上下文多臂赌博机在线强化学习方法，可以高效建模复杂的上下文相关和非固定的公共卫生干预项目中的资源分配，具有较高的性能表现。
分布式在线学习框架如何建模学习者？
将学习者建模为合作的情境赌博机，分析分布式在线学习算法和完全知识基准的效率，研究表明后者在时间上失误是亚线性的，该理论框架可用于大数据挖掘、监视传感器网络事件检测和分布式在线推荐系统等。
如何处理带有任务转移的在线网络资源分配问题？
提出基于指数加权方法的随机在线算法，证明了该算法具有次线性时间后悔，通过对人工数据进行性能测试并与强化学习方法进行比较表明该方法优于后者。
无人机物联网任务调度中如何平衡延迟和能耗？
设计任务调度策略以最小化所有任务的离线和计算延迟，同时满足无人机能源容量约束下的延迟导向物联网服务需求，并考虑任务到达动态变化，提出基于风险敏感的强化学习算法来解决能耗风险约束下的决策问题。
具有延迟反馈的MDP在线学习有哪些新算法？
研究了具有未知转换和拥有无限制延迟反馈的分集式马尔可夫决策过程的在线学习，表现出基于策略优化的新算法，在完全信息反馈下实现了接近最优的高概率后悔情况，同时也是第一个考虑具有延迟反馈的MDP的后悔最小化设置。
随机截止时间调度问题如何用Whittle指数解决？
将随机截止时间调度问题建立为一个不安定的多臂赌博机问题，表明其可指标化。当处理成本为常量时，获得了Whittle指数的闭式表达式。获得了Whittle指数策略的最优解上限，并表明随着职位到达率和可用处理器数量同时增加到无限大，上限收敛于零。
在线分组调度中如何提高竞争比率？
在预测误差较小的情况下使用了新算法框架，提高了竞争比率且仍保持有界竞争比率。
多任务在线学习的元算法如何优化平均性能？
设计了一个统一的元算法，旨在优化平均性能。该算法在多臂老虎机和乐观线性优化两个重要情境下提供了特定保证，通过任务平均后悔的降低来提高性能。
