基于原则的偏好贝叶斯优化
内容提要
该文汇总了多篇贝叶斯优化研究，涵盖：PBO框架，通过伯努利-高斯过程建模两两比较的赢家概率，以极少比较寻找最大值；随机延迟反馈下的算法及子线性遗憾保证；无需核心参数先验即可收敛的无后悔算法；以及多目标优化中的偏好模型估计、拟贝叶斯优化量化不确定性、期望改进转化为二分类、基于置信上界与汤普森抽样、密度比估计、约束多目标PAC-MOO和深度强化学习调参等方法。
延伸解读
偏好反馈下的贝叶斯优化
当目标函数难以直接观测，只能通过两两比较获取偏好信息时，PBO框架通过伯努利-高斯过程建模每次比较的赢家概率，从而在极少的比较次数下寻找最大值。这为人类偏好、A/B测试等场景提供了高效优化方案。
延迟反馈与无先验收敛
针对随机延迟反馈，有研究提出了具有子线性遗憾保证的算法，适用于批量优化和上下文高斯过程老虎机。另一项工作则实现了无需核心参数先验的无后悔贝叶斯优化，通过逐步调整核超参数并扩展函数类，收敛到最优点。
多目标与约束优化进展
在多目标优化中，有方法通过交互式估计决策者的贝叶斯偏好模型进行主动学习。PAC-MOO则针对大部分输入空间不可行的约束多目标问题，学习目标和约束的代理模型，选择能最大程度获取受约束Pareto前沿信息的候选点，在电路和电力系统设计中表现更优。
提升效率与扩展性的技术
为提升贝叶斯优化效率，有研究将期望改进的计算转化为二分类问题；基于密度比估计的方法用概率二元分类器替代函数先验，增强可扩展性；拟贝叶斯优化通过局部回归和随机化先验量化不确定性，在高维超参数调整和机器人应用中胜过基准。
Q&A
PBO框架是如何通过两两比较来寻找最大值的？
PBO框架通过伯努利-高斯过程模型来建模每个决斗的赢家概率，从而允许仅通过两两比较的方式查询隐函数，并且在寻找最大值过程中需要极少的比较。
贝叶斯优化在随机延迟反馈下有哪些算法保证？
针对随机延迟反馈问题，提出了具有子线性遗憾保证的算法，并在批量贝叶斯优化和上下文高斯过程老虎机方面做出了新贡献。
无后悔贝叶斯优化算法如何在没有核心参数先验的情况下收敛？
该算法在优化过程中逐步调整静态核的超参数并随时间扩展相关函数类，从而在没有核心参数先验知识的情况下收敛到最优点。
在多目标优化中，如何利用贝叶斯优化和偏好模型来寻找最优解？
通过交互方式自适应地估计决策者的贝叶斯偏好模型，并利用获得的偏好信息进行主动学习，从而在昂贵目标函数的多目标优化问题中有效找到最优解。
拟贝叶斯优化如何量化不确定性并保证收敛？
拟贝叶斯优化通过利用简单的局部回归和随机化先验构建来量化不确定性，并保证收敛性，在高维度综合实验、超参数调整和机器人应用中胜过最先进的基准测试。
PAC-MOO方法如何处理约束多目标优化问题？
PAC-MOO方法学习输出目标和约束的代理模型，并选择在每次迭代中评估最大程度能获得有关最佳受约束Pareto前沿的信息且同时考虑目标偏好的候选输入，在电路和电力系统设计等工程问题中比现有方法更有效。
