公共卫生中动态不休、多臂老虎机任务的决策语言模型（DLM）
内容提要
该文综述了多臂老虎机（RMAB）在公共卫生干预调度中的应用进展，涵盖时间序列RMAB、Whittle指数决策焦点学习、公平性约束RMAB-F、神经网络预训练模型PreFeRMAB及Q学习等方法，旨在提升参与者坚持度与资源分配效率。
延伸解读
预测精度与调度效果的权衡
文章指出，在RMAB系统部署中，整体预测准确性的提高可能反而导致系统性能下降。这意味着仅优化预测组件并不足以保证干预调度的效果，需要采用决策评估度量来综合衡量。对于公共卫生实践者，这提示在引入预测模型时，应关注其对最终调度决策的影响，而非孤立追求预测指标。
公平性约束的算法实现路径
针对RMAB中的公平性问题，文章介绍了两种公平目标：最小最大奖励和最大纳什福利，并分别通过水充实算法和平衡不同群体大小的贪婪算法高效求解。模拟实验显示，这些方法在几乎不牺牲效用的情况下提升了公平性。这为资源有限且需兼顾群体公平的公共卫生干预提供了可参考的技术方案。
预训练模型应对连续状态与多动作
PreFeRMAB是一种基于神经网络的预训练模型，具备零样本能力，可高效微调，并适用于离散或连续状态空间的多动作问题。它解决了以往方法在处理连续状态时需要重新训练的限制，且有理论收敛保证。对于状态空间复杂、动作选择多样的实际公共卫生场景，这一模型可能降低重新训练的成本。
从Whittle指数到Q学习的实践探索
文章提到，基于Q-learning的Whittle指数机制被用于解决患者逐渐脱离健康项目的问题。这表明强化学习方法可直接应用于干预调度，以提升参与者坚持度。同时，决策焦点学习通过直接训练预测模型以最大化Whittle指数解的质量，提高了可扩展性，并在母婴健康数据集上得到验证，为实际部署提供了案例。
Q&A
多臂老虎机（RMAB）在公共卫生干预调度中主要解决什么问题？
RMAB用于调度低资源环境下的干预措施，以提高参与者的坚持和参与度，并优化资源分配效率。
什么是Whittle指数决策焦点学习？它有什么优势？
Whittle指数决策焦点学习是一种直接训练预测模型以最大化Whittle指数解质量的方法，应用于不确定武装转移动态但已知相关武装特征的不安静多臂老虎机问题，提高了在RMAB问题中的可扩展性。
RMAB-F模型是什么？它如何处理公平性问题？
RMAB-F是一种具有长期公平约束的多臂老虎机模型，通过Fair-UCRL强化学习算法，能够在奖励遗憾和公平违反遗憾方面保持概率亚线性边界。
PreFeRMAB模型有什么特点？它解决了哪些限制？
PreFeRMAB是一种基于神经网络的预训练模型，具备广泛的零样本能力，能高效微调，适用于离散或连续状态空间的多动作问题，解决了以往处理连续状态时需要重新训练的限制，并有理论收敛保证。
在公共卫生中，如何利用Q-learning解决患者脱离健康项目的问题？
通过基于Whittle指数的Q-learning机制，可以解决患者逐渐脱离健康项目的问题，优化干预策略。
公平性约束在RMAB中如何实现？有哪些公平性目标？
公平性约束通过最小最大奖励和最大纳什福利两个目标实现，分别通过水充实算法和平衡不同群体大小的贪婪算法高效求解，在模拟中展示了更公平且效用牺牲很小的结果。
