一种用于合作资源分配的联合在线不安分强盗框架
内容提要
本文介绍了一种基于神经网络的预训练模型PreFeRMAB，具备广泛的零样本能力，能够高效微调并解决多动作问题。研究提出了联邦学习框架，优化在线多代理算法，确保次线性增长，并通过实证验证其在随机数据摘要问题中的有效性。此外，研究还探讨了不安定多臂赌博机问题，提出新算法以最大化敌对奖励，并展示了在拜占庭攻击下的鲁棒性。
延伸解读
从离线到在线的联邦学习框架
文章提出的联邦学习框架能将离线单代理逼近算法转化为在线多代理算法，保证次线性遗憾增长，且通信轮次亚线性。这意味着多代理系统可以在有限通信下高效协作，随着代理数量增加，性能线性加速。该框架已成功应用于在线随机子模块最大化，并首次给出了单代理和多代理设置的结果，恢复了单代理理论保证。
不安定多臂赌博机的算法进展
针对不安定多臂赌博机问题，文章介绍了多个算法：Streaming Bandits框架处理异构臂动态进出，提供Whittle索引解；UCWhittle算法利用上限置信度学习未知状态转移，在三个领域优于现有在线学习算法；还有算法解决周期性不安定问题，在未知转移和敌对奖励下保证约根号T的遗憾界。这些进展提升了动态环境下的决策效率。
鲁棒性与公平性的考量
文章还探讨了拜占庭攻击下的联邦多臂老虎机问题，提出Fed-MoM-UCB估算器，实验证明其能有效抵御攻击。同时，建立了公平的多臂赌博机框架，考虑离线和在线情形中的不公平问题，证明了算法在单次选取情况下的次线性公平后悔度，并在多次选取场景中展示良好表现。这些工作增强了算法在对抗环境和公平性要求下的实用性。
Q&A
PreFeRMAB模型的主要特点是什么？
PreFeRMAB模型基于神经网络，具备广泛的零样本能力，能够高效微调并解决多动作问题，具有理论收敛保证和实证优势。
联邦学习框架如何优化在线多代理算法？
联邦学习框架将离线单代理算法转化为在线多代理算法，确保次线性增长，并具有高效的通信特性。
Streaming Bandits框架解决了什么问题？
Streaming Bandits框架解决了不安定多臂赌博机问题，提供了计算Whittle索引解的高效算法。
UCWhittle算法的优势是什么？
UCWhittle算法在解决具有未知状态转移的RMAB问题时，表现优于现有的在线学习算法。
如何处理拜占庭攻击下的多臂老虎机问题？
通过Fed-MoM-UCB估算器，研究证明了其在面对拜占庭攻击时的有效性。
多用户多臂赌博机算法框架的应用场景是什么？
该框架适用于随机和对抗环境下的无协调频谱访问问题，能够处理动态用户数量问题。
