本研究探讨了在无约束和有约束环境中最小化夸萨尔凸（QC）和强夸萨尔凸（SQC）函数的性能。提出了一种新的近端夸萨尔凸性概念，并证明了算法收敛至全局最小值的复杂度界限，显示随机零阶方法在某些情况下优于梯度下降法。

本研究提出了“运输f散度”概念，以解决一维样本空间中概率密度函数差异的衡量问题。通过结合凸函数和雅可比映射，发现这些散度具有多种有趣性质，并在生成模型中展现出实际应用潜力。

本文探讨了随机梯度下降法（SGD）在现代机器学习中的收敛性，证明了其在凸和强凸函数下的收敛速度，并在非凸情况下也能有效找到稳定点。实验验证了加速随机梯度方法在最小二乘回归中的应用，提出的新算法和优化方法显示出优于传统方法的性能。

本文介绍了一种在线凸优化算法，考虑具有对抗性时变约束的情景。通过线性优化预言机（LOO）访问约束集合，保证在长度为T的序列上，相对于损失函数产生的后悔为$O(T^{3/4})$，对约束的违反为$O(T^{7/8})$。还提出了一种更高效的算法，只需对软约束进行一阶预言机访问，并在整个序列上获得类似的边界。将后者扩展到强化学习场景，并在期望上获得类似的边界。

通过引入足够统计概念，我们展示了关于损失函数族的近似秩的界限，进而改进了学习全凸的、利普希茨损失函数的全能预测器的运行时间，并为损失族具有低次多项式逼近或由广义线性模型（GLMs）生成的情况下提供了高效的全能预测器。

该文研究了针对凸目标函数的梯度流、加速梯度下降和随机梯度下降优化方法。研究发现，梯度流在希尔伯特空间中最优，但收敛缓慢；在有限维空间中，存在凸函数的梯度流曲线，其减小速度比任何单调递减且在无穷远处可积的给定函数更慢。类似的结果也适用于离散时间梯度下降、具有乘积噪声的随机梯度下降和重球 ODE 问题。

该研究探讨了分布式多臂赌博设置在流言传播模型中的应用，推导出了静态奖励设置和敌意奖励设置的次线性遗憾界。研究者发现这些协议可以近似地优化面对单纯形的凸函数。

本文研究了解决两个函数之和的最小值问题的外推梯度方法，证明了该方法在 Kurdyka-Lojasiewicz 假设下得到的序列收敛于问题的临界点并具有有限长度。此外，该方法在两个函数均为凸函数的情况下具有次线性收敛率。

本研究提出了基于ADMM算法的分布式算法，用于最小化局部已知的凸函数之和。研究表明，当函数为凸函数时，目标函数值和可行性冲突都会收敛；当函数是强凸函数且有Lipschitz连续梯度时，算法生成的序列会线性收敛到最优解。此外，分析还凸显了网络结构对收敛速度的影响。

本文研究了在平滑拟凸和非凸函数上的随机梯度下降法（SGD）进行延迟更新，并得出了非渐近收敛速度。研究发现，在存在噪声的情况下，延迟的影响在几次迭代后变得微不足道，算法以与标准SGD相同的最优速度收敛。此外，在使用层压梯度进行错误补偿和多个节点上做本地SGD之后通信的情况下，与现有最佳算法相比，得到了更好的结果。这些结果表明SGD对于压缩和/或延迟的随机梯度更新是具有鲁棒性的，对于分布式并行实现特别重要。

本文提出了一种新的聚合损失Top-K Loss，它可以更好地拟合不同的数据分布，特别是在多分布数据和不平衡数据中，可以更好地保护小类样本，并且损失仍然是凸函数，具有很好的可优化性质，但实验结果尚未取得更好的结果。