本文综述上下文赌博机与批处理学习研究，涵盖顺序批处理遗憾界、半参数奖励估计、动态多臂策略、kNN-UCB、BatchNeuralUCB、KernelUCB、广义线性UCB、因果平衡强化学习及延迟利用等算法，并提供理论保证与实验验证。

该文综述约束在线凸优化研究进展，提出在线凸-凹转化框架与自适应梯度下降算法以改进遗憾界，并研究时变约束、非凸优化、切换成本、DR-submodular最大化及长期约束等问题，给出次线性遗憾与约束违规界，应用于电动汽车充电和河流污染源辨识等场景。

本文综述在线凸优化（OCO）的研究进展，涵盖分散式D-OCO算法（降低遗憾界并证明下界）、随机约束算法在数据中心调度中的应用、基于历史损失建模的记忆容量量化、相对Lipschitz与强凸性研究、拟阵约束下的子模最大化、约束OCO向凸-凹优化的转化、对抗时变约束算法、任意延迟非平稳OCO、连续次模函数的Frank-Wolfe变体，以及带切换成本的有限信息OCO竞争比分析。

该文综述延迟反馈下的赌博与凸优化研究，提出DEXP3、DBGD等算法，在未知或非遗忘延迟下实现O(T^{2/3})等遗憾界，并给出投影算法、在线牛顿法及下界结果。

本文综述马尔可夫决策过程与在线控制的策略优化研究，通过正则化器、探索奖励和学习率设计，在随机损失下实现Polylog(T)损失，对抗下不降低最坏保障；结合Tsallis与Shannon熵正则化，在已知转移下用对数障碍获得一阶保证。还涉及贝叶斯优化、FTRL、部分可观测线性系统、在线LQR及部分监测博弈，改进遗憾界。

本文综述在线线性规划与资源分配研究，提出基于学习的在线算法，在近似预言机下改进复杂度并获得常数遗憾界；利用鲁棒估计为强化学习提供遗憾上界；针对未知分布与敌对分布设计统一算法；研究线性动态系统的在线控制与二次控制，实现O(√T)遗憾；并给出长期约束优化的次线性遗憾算法。

本文综述高斯过程贝叶斯优化的理论进展，涵盖GP-UCB遗憾最优性证明、无噪声与噪声环境下的后悔保证、重尾噪声算法、批处理优化及指数收敛率等成果，解决了COLT开放性问题，并建立高斯过程优化与实验设计的联系。

本文综述委托代理与合同理论的多项研究，涵盖多轮合同承诺算法、线性合同最优性、AI自主设计激励合同、在线隐藏行动与逆向选择学习、激励感知任务委托及多智能体强化学习，推动了合同设计与在线学习遗憾界的改进。

该文综述多臂赌博机后悔最小化研究，涵盖批处理随机与线性赌博机、对抗性赌博机、非平稳线性臂、上下文推断及路径长度自适应遗憾等方向，提出多种实现最优或接近最优遗憾界的算法，并给出下界与不可能性结果。

本文综述连续子模函数最大化的研究进展：随机投影梯度法在凸约束下具有强逼近保证；boosting算法用于离线与在线DR-子模最大化；POBGA将通信复杂度从O(T)降至O(√T)；随机条件梯度法在高维场景下更稳定；元Frank-Wolfe及在线Frank-Wolfe变体取得O(√T)遗憾界与(1-1/e)近似；弱DR属性统一刻画子模性并提供高效算法。

本文综述在线学习中反馈对遗憾的影响：在强可观测无向反馈图下改进回报上下界，利用FTRL与q-Tsallis熵给出证明并扩展至时变图；刻画不同反馈类型的minimax遗憾并设计匹配算法；分析反馈图结构对学习难度的决定作用；探讨部分信息反馈、延迟反馈、集合选择、马尔可夫决策过程及核赌博等情形，提出相应算法与遗憾保证。

Adam是一种用于基于梯度的随机目标函数优化的算法，易于实现、计算效率高、占用内存少，适合在数据和/或参数方面比较大的问题。实证结果表明Adam在实践中效果良好，并且与其他随机优化方法相比具有优势。同时，还讨论了一种基于无穷范数的Adam变体AdaMax。该算法的理论收敛性质被分析，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。

Adam是一种用于基于梯度的随机目标函数优化的算法，易于实现、计算效率高、占用内存少，适合在数据和/或参数方面比较大的问题。同时，还讨论了一种基于无穷范数的Adam变体AdaMax。该算法的理论收敛性质被分析，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。

该文介绍了一种离线强化学习方法——悲观非线性最小二乘值迭代(PNLSVI)，用于非线性函数逼近。该方法包括方差加权回归、方差估计子程序和基于悲观值迭代的规划阶段。该方法的遗憾界与函数类的复杂性紧密相关，并在针对线性函数逼近的情况下实现极小化的最优实例相关遗憾。

本文提出了针对连续次模函数类的在线优化过程，包括Frank-Wolfe算法的变体和在线随机梯度上升算法。证明了两种算法具有O（T的平方根）的遗憾界，并将结果推广到γ-弱次模函数。演示了算法的效率在几个问题实例上。