贝叶斯优化的泊松过程
内容提要
贝叶斯优化综述，涵盖组合空间与离散变量的SBBO、仅需两两比较的PBO、多臂老虎机方法、排列空间算法BOPS-T/H、神经过程代理模型、高斯Cox过程推断及自适应线性化等新进展，并总结过程系统设计中的挑战与机遇。
延伸解读
贝叶斯优化在组合与离散空间中的进展
文章介绍了模拟基于贝叶斯优化（SBBO）方法，它通过基于采样的后验预测分布访问黑盒函数，适用于组合空间和离散变量。该方法使用适用于组合空间的概率代理模型，并在组合优化应用中通过不同代理模型实证证明了有效性。这为传统上难以处理的离散优化问题提供了新思路。
仅需两两比较的PBO框架
PBO框架扩展了标准贝叶斯优化思想，通过模型化Bernoulli-高斯过程来建模每个决斗的赢家概率，允许仅通过两两比较查询隐函数。相对于以往方法，PBO在寻找最大值过程中需要极少的比较，这为难以获取绝对数值但易于比较的场景提供了高效优化方案。
多臂老虎机与贝叶斯优化的结合
文章提出一种使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，确保无偏估计。即使真实超参数未知，该方法也能亚线性地收敛到目标函数的全局最优点，增强了贝叶斯优化在超参数未知情况下的鲁棒性。
过程系统设计中的挑战与机遇
文章概述了贝叶斯优化在下一代过程系统设计中的最新进展、挑战和机遇，并介绍了如何利用高级贝叶斯优化方法更有效地解决重要问题。最后总结了提高概率模型质量、选择下一个样本点的内部优化过程以及利用问题结构提高样本效率方面的挑战和机会。
Q&A
贝叶斯优化在组合空间和离散变量优化中有什么新方法？
模拟基于贝叶斯优化（SBBO）是一种用于优化黑盒函数的新方法，只需要通过基于采样的后验预测分布进行访问。该方法允许在涉及组合空间和离散变量的情况下使用适用于组合空间的概率代理模型。在组合优化的应用中，通过使用不同的代理模型在实证上证明了SBBO方法的有效性。
如果只能通过两两比较来查询函数，如何用贝叶斯优化找到最大值？
PBO框架扩展了标准BO的思想，通过模型化Bernoulli-高斯过程模型来建模每个决斗的赢家概率，从而允许在仅通过两两比较的方式来查询隐函数，并且相对于以往方法，该方法在寻找最大值过程中需要极少的比较。
贝叶斯优化中如何利用多臂老虎机技术并保证收敛？
一种新的使用多臂老虎机技术的贝叶斯优化方法，采用新型训练损失函数进行高斯过程超参数估计，以确保无偏估计，从而使其即使在未知真实超参数的情况下，也可以亚线性地收敛到目标函数的全局最优点。
贝叶斯优化在排列空间问题上有哪些算法？
针对基于贝叶斯优化的排列空间问题，提出了两种算法：BOPS-T和BOPS-H。两种算法均采用了高斯过程模型，BOPS-T采用Kendall核函数和可处理的采集函数优化方法，BOPS-H采用Mallow核函数和启发式搜索方法来优化期望改进采集函数。理论分析和实验表明，这两种算法在人工和实际基准测试中均优于同类问题的最先进的BO算法。
神经过程如何用于改进贝叶斯优化？
神经过程贝叶斯优化是一种通用黑盒模型优化算法，通过使用神经过程作为代理模型来提高效率和准确性，在功率系统参数优化问题和七个基准贝叶斯优化问题上的比较均表明该算法的性能优于其他四个基准算法。
高斯Cox过程在贝叶斯优化中如何进行推断和应用？
提出了一种新颖的基于高斯Cox过程的最大后验推断方法，通过引入Laplace近似和核函数转换技术，使得推断问题在新的再生核希尔伯特空间中更易于计算，从而在功能后验和后验的协方差方面得到了扩展。在此基础上，提出了一个基于高斯Cox过程模型的贝叶斯优化框架，并进一步开发了一种Nyström近似方法以进行高效计算。在各种合成和实际数据集上的广泛评估表明，与现有的高斯Cox过程推断解决方案相比，本方法取得了显著的改进，同时还能有效地进行基于高斯Cox过程模型设计的各种收集函数的贝叶斯优化。
