基于无噪声观测的贝叶斯优化：通过随机探索改善遗憾边界
内容提要
本文综述高斯过程贝叶斯优化的理论进展，涵盖GP-UCB遗憾最优性证明、无噪声与噪声环境下的后悔保证、重尾噪声算法、批处理优化及指数收敛率等成果，解决了COLT开放性问题，并建立高斯过程优化与实验设计的联系。
延伸解读
理论突破：GP-UCB的遗憾最优性
文章指出，GP-UCB的遗憾是否最优曾是贝叶斯优化领域的开放问题。2023年12月的研究首次肯定回答，在目标函数具有某种平滑性质时，GP-UCB的简单和累积遗憾的新上界与已知最小-最大下界匹配，从而证明了其最优性。这为GP-UCB的广泛应用提供了理论依据。
无噪声环境下的指数级收敛
在无噪声观测中，传统贝叶斯优化通常只能达到多项式收敛率。但文章提到，通过分支限定算法或BOO算法，在Matern核且平滑度参数ν>4+D/2时，可实现指数级遗憾边界，即遗憾随时间按O(e^{-τt/(ln t)^{d/4}})下降。这显著提升了优化效率，尤其适用于高维平滑函数。
重尾噪声的鲁棒优化
现实问题中噪声可能服从重尾分布，传统高斯噪声假设不再成立。文章综述了2019年9月的研究，提出了基于核函数的UCB算法和基于核近似的贝叶斯优化算法，专门应对重尾噪声，并在人造和真实数据集上验证了性能。这扩展了贝叶斯优化在复杂噪声环境下的适用性。
与实验设计的理论联系
文章强调，高斯过程优化与实验设计之间存在深刻联系。通过多臂赌博机框架，研究者建立了遗憾界，并证明GP-UCB可优于其他启发式方法。这种联系不仅推动了理论发展，也为实际实验设计提供了新视角，例如在资源有限时如何平衡探索与利用。
Q&A
GP-UCB算法的遗憾边界是否最优？
是的，GP-UCB的遗憾边界在目标函数具有某种平滑性质时是最优的，其简单和累积遗憾的新上界与已知最小-最大下界匹配。
在无噪声环境下，贝叶斯优化能达到指数级收敛吗？
可以。BOO算法在目标函数从具有Matern内核且平滑度参数ν>4+D/2的高斯过程中提取样本时，能实现指数级后悔度边界。
重尾噪声下如何进行贝叶斯优化？
可以使用基于核函数的UCB算法以及基于核函数近似的贝叶斯优化算法，这些方法在重尾噪声下表现良好，并在人造和真实数据集上得到验证。
贝叶斯优化中的批处理优化有哪些新进展？
提出了一种新的批处理优化算法，可以同时优化收购函数并从整个批次中选择点，理论上为无噪声和扰动设置导出了遗憾界限，并分析了鲁棒初始化所需的敌对遗憾性质。
高斯过程优化与实验设计之间有什么联系？
通过多臂赌博机问题和高斯过程解决优化未知、嘈杂及难以评估函数的问题，得到了遗憾界，并建立了高斯过程优化和实验设计之间的联系。
贝叶斯优化中随机探索如何改善遗憾边界？
采用从分布中抽取的随机样本进行域探索，可以实现最优的误差率，并在无噪声和有噪声环境下均具有理想的后悔保证，同时避免了昂贵的无凸优化问题，解决了一个COLT开放性问题。
