偏好反馈的赌徒问题：斯塔凯尔伯格博弈视角
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文研究了在线线性优化问题，提出了多种算法以最小化后悔量，包括基于Bregman投影的梯度下降策略和Maximin-LUCB策略。同时探讨了模仿学习中的偏好反馈优势，并提出了基于上置信界的算法，实验证明其优于传统方法。
❓
Q&A
什么是偏好反馈的赌徒问题？
偏好反馈的赌徒问题是一个在线学习模型，研究如何在缺乏直接奖励知识的情况下，通过查询专家获得偏好反馈，以最小化后悔量。
文章中提到的Maximin-LUCB策略有什么特点？
Maximin-LUCB策略用于寻找最佳动作，能够在模仿学习中有效利用偏好反馈，提升学习效率。
如何通过Bregman投影技术优化在线线性问题？
使用Bregman投影技术的梯度下降策略可以有效地解决在线线性优化问题，最小化后悔量。
模仿学习中如何利用偏好反馈？
模仿学习中可以通过主动查询专家，比较动作并获取偏好反馈，从而在未知环境中达到最小后悔和查询复杂度的目标。
带背包的赌徒问题与传统赌徒问题有什么不同？
带背包的赌徒问题结合了随机整数规划和在线学习，具有更高的复杂性和挑战性，相比传统赌徒问题更难以解决。
文章中提到的遗憾上界是如何证明的？
文章通过引入基于上置信界的算法，结合离线情境对决贝叶斯臂设置，证明了遗憾上界的存在。
🏷️
