基于混合正则化的优化探索：针对偏向监控的对数遗憾与对抗鲁棒性
内容提要
本文综述马尔可夫决策过程与在线控制的策略优化研究，通过正则化器、探索奖励和学习率设计，在随机损失下实现Polylog(T)损失，对抗下不降低最坏保障；结合Tsallis与Shannon熵正则化，在已知转移下用对数障碍获得一阶保证。还涉及贝叶斯优化、FTRL、部分可观测线性系统、在线LQR及部分监测博弈，改进遗憾界。
延伸解读
正则化探索的平衡之道
文章通过混合Tsallis与Shannon熵正则化，在随机损失下实现Polylog(T)遗憾，同时不牺牲对抗环境的最坏情况保障。这提示读者，正则化设计需兼顾随机与对抗场景，而非单一优化目标。
已知转移下的对抗鲁棒性
在转移概率已知时，利用对数障碍正则化器可在对抗损失下获得一阶遗憾保证。这一结果说明，先验知识能显著提升对抗鲁棒性，为实际系统设计提供了理论依据。
部分监测博弈的遗憾改进
文章证明新的minimax定理，将贝叶斯最坏情况遗憾与无信号minimax遗憾联系，并改进了部分监测设置的遗憾界。这有助于理解信息受限下的决策极限，推动博弈论与在线学习交叉。
Q&A
在表格型马尔可夫决策过程中，如何设计正则化器和探索奖励以在随机损失下实现Polylog(T)损失，同时不降低对抗情况下的最坏情况保障？
通过设计适当的正则化器、探索奖励和学习率，在损失为随机时实现更优的Polylog(T)损失，而在对抗情况下不降低最坏情况保障。使用Tsallis熵和Shannon熵正则化器可以实现这一目标。
在已知转移条件下，如何利用对数障碍正则化器在对抗情况下获得一阶损失保证？
在已知转移条件下，通过利用对数障碍正则化器，可以在对抗情况下获得一阶损失保证。
BOO算法在贝叶斯优化中如何实现指数级后悔度边界？
BOO算法结合贝叶斯优化和基于树的乐观优化，在无噪声环境中，假设目标函数从具有Matern内核且平滑度参数ν>4+D/2的高斯过程中提取样本，可以实现指数级后悔度边界。实验表明，BOO算法在优化合成函数和机器学习超参数调整任务上优于基线算法。
FTRL算法如何利用不同正则化器降低Quantile和KL regret bounds？
FTRL算法利用不同正则化器降低Quantile和KL regret bounds，与NormalHedge及其变体相比，成功在对抗数据中与大多数专家而非最佳专家竞争，并在半对抗范式中使用自适应最小值的算法适应真实、未知的约束条件，导致统一改进的regret上限。
在部分可观测线性动态系统中，如何实现系统识别和自适应控制？
提出了一种基于模型评估的自适应控制在线学习算法，通过与环境的交互估计模型动态，通过在线梯度下降更新控制器并改善控制器效能，达到了未知系统自适应控制的Polylog(T)遗憾上限。
在线性动态系统中，面对敌意的变化强凸成本函数，有哪些高效的迭代方法可以实现最优遗憾界限？
提出了在线梯度下降和在线自然梯度两种不同且高效的迭代方法，在拥有转移动态知识的情况下，实现遗憾边界小而有效。
如何将在线线性二次控制问题转化为在线学习问题以提高算法效果？
通过将在线控制问题转化为具有近似优越函数的（延迟的）在线学习，无需控制迭代的运动成本，从而提高了算法的效果。
在对抗环境下的马尔科夫决策过程中，如何用线性优化方法提高最优结果？
通过将特征映射设置到线性优化的赌臂中，得到了不需要访问转移模拟器的新技术，并在探索性假设下，将线性对手马尔科夫决策问题的最优结果从Õ(K^{6/7})提高到Õ(K^{4/5})。
对于线性近似的Q函数，在损失函数任意的情况下，有哪些算法可以达到更优的遗憾表现？
提出了两种算法，在拥有模拟器的情况下使损失最小值达到Õ(√K)，在无模拟器情况下实现Õ(K^{8/9})的表现，改进了之前的表现。
新的minimax定理如何联系贝叶斯最坏情况遗憾和minimax遗憾？
该定理将贝叶斯最坏情况遗憾和没有对手信号或决策的minimax遗憾联系起来，推广了Russo和Van Roy (2016)的信息论工具，证明了多种部分监视设置的minimax遗憾边界，包括对'非退化简单'和'困难'有限部分监控的清晰分析，提供了独立于任意大游戏相关常数的新遗憾约束。还证明了对于k武装对手贝叶斯遗憾最多为√(2kn)，提高了现有成果2倍的minimax遗憾界，并提供了警察和流氓游戏的简单分析，提高了最好已知的常数。
