约束超分位数优化的快速计算通过隐式场景缩减
内容提要
本文介绍了一种适应性算法CUQB，旨在高效解决昂贵黑盒函数的全局优化问题，表现优于传统贝叶斯优化。同时，提出了改进的准牛顿方法和SBQR技术，增强了优化算法的收敛性和鲁棒性，适用于多种优化场景。
延伸解读
CUQB：面向昂贵黑盒函数的约束优化新算法
文章提出CUQB算法，用于解决输入为昂贵黑盒函数的组合函数的高效有约束全局优化问题。该算法在约束和无约束情况下均显著优于传统贝叶斯优化，并具有更好的理论保证。对于需要大量评估的优化场景，CUQB可能提供更高效的解决方案。
改进准牛顿方法：不依赖条件数的局部超线性收敛
文章介绍了一种更高效的准牛顿方法，将对称秩-1更新纳入增量框架，从而获得不依赖条件数的局部超线性收敛速率。此外，通过在Hessian近似上应用块更新，进一步提升了局部收敛速度。数值实验表明，该方法明显优于基准方法。
SBQR技术：独立于损失函数的分位表示构建
文章提出了同时二元分位数回归（SBQR）技术，能够独立于损失函数构建分位表示。该技术在检测越界样本和校准模型等问题上具有优越性。对于需要稳健分位数估计的应用，SBQR提供了一种新的思路。
随机SQP方法的几乎肯定收敛性
文章证明了一种基于随机梯度算法的随机SQP方法在原始迭代、拉格朗日乘子和稳定性测量方面具有几乎肯定的收敛性。通过使用算法运行期间计算的拉格朗日乘子的运行平均值，消除了最新随机梯度估计的误差。数值实验验证了理论保证的有效性。
Q&A
CUQB算法的主要优势是什么？
CUQB算法在约束和无约束情况下显著优于传统贝叶斯优化，并具有更好的理论保证。
改进的准牛顿方法有什么特点？
改进的准牛顿方法具有不依赖条件数的局部超线性收敛速率，并通过块更新提升了局部收敛速率。
SBQR技术的应用场景有哪些？
SBQR技术适用于检测越界样本和校准模型等问题。
随机SQP方法的收敛性如何？
随机SQP方法在原始迭代、拉格朗日乘子和稳定性测量方面具有几乎肯定的收敛性。
如何缩短收敛时间以解决非凸问题？
通过量化梯度和降低方差的方法，可以实现对任意量化梯度的线性收敛，缩短收敛时间。
SQuant框架的主要功能是什么？
SQuant框架是一种实时数据无需模型压缩的解决方案，能够加速数据无需量化过程并提高精度。
