LEARN：一种针对异常值默默抵抗的鲁棒在线优化的反凸损失
内容提要
本文探讨了在线凸优化问题的解决方案，提出了有效的收敛算法，并分析了适应性在线梯度下降和基于随机梯度下降的线性回归算法。这些方法在处理约束和异常值方面表现优异，提供了新的遗憾界限和优化策略。
延伸解读
从约束优化到在线凸-凹转化
文章提出将约束在线凸优化问题转化为在线凸-凹优化问题，并设计有效算法实现较好收敛。这一思路为处理复杂约束提供了新途径，同时文章还解决了从中提取多点强化信号的约束在线凸优化问题，显示出该框架在强化学习等场景的潜在应用价值。
长期约束下的自适应梯度下降
针对具有长期约束的在线凸优化问题，文章提出适应性在线梯度下降算法，可处理任意凸约束。该算法在损失和约束违规方面分别达到O(T^max{β,1−β})和O(T^(1−β/2))的累积遗憾界，优于Mahdavi等（2012）的已知最佳界，并在实践中得到验证。
鲁棒线性回归的异常值处理
文章研究在线情况下的鲁棒线性回归，提出基于随机梯度下降和L1损失函数的高效算法。该算法能在数据被污染时有效检测并去除异常值，且复杂度与污染比例相关，为在线学习中的异常值抵抗提供了实用方案。
通用元算法框架与无投影算法
文章提出通用元算法框架，可将全信息反馈算法转换为半强盗反馈算法并保持相近遗憾界，还能将一阶算法转为零阶算法。基于此，文章给出了首个使用线性优化预言机的无投影在线凸优化算法，并构建了只需一次投影的通用OCO算法，通过专家聚合达到多种函数类型的小损失遗憾。
Q&A
什么是在线凸优化问题？
在线凸优化问题是指在动态环境中逐步优化目标函数，通常涉及实时数据和约束条件的处理。
本文提出了哪些算法来处理异常值？
本文提出了一种基于随机梯度下降和L1损失函数的高效算法，能够有效检测和去除异常值。
适应性在线梯度下降算法的优势是什么？
适应性在线梯度下降算法能够处理具有长期约束的在线凸优化问题，且在损失和约束违规方面的累积遗憾界限优于已有的算法。
如何将在线凸优化问题转化为在线凸-凹优化问题？
通过构建一个框架，将约束在线凸优化问题转化为在线凸-凹优化问题，从而提出有效的收敛算法。
本文中提到的通用元算法框架有什么作用？
通用元算法框架允许在不同情境下分析在线优化，并提供了将一阶算法转换为零阶算法的能力。
在线凸优化问题的相对Lipschitz收敛性是什么？
相对Lipschitz收敛性是指在特定条件下，算法的收敛速度与目标函数的变化率相关，扩展了已知算法的遗憾界。
