多准则优化的多精度方法：一项调查
内容提要
本文综述多保真贝叶斯优化（MFBO）研究，涵盖高斯过程代理模型与采集函数，及其在约束、高维、不确定性和多目标优化中的应用。相关进展包括物理感知方法、噪声建模、多目标MF-OSEMO、反向设计协同、知识梯度超参调优、MF-MES和多保真零阶优化。
延伸解读
多保真贝叶斯优化的核心挑战
文章指出，多保真贝叶斯优化在实际应用中面临高保真数据获取成本高、数据源之间相关度有限等假设不准确的问题。为此，研究者提出学习每个数据源的噪声模型，使优化过程能够利用高度偏差的低保真数据源，从而提升性能。这提示读者，多保真方法并非简单堆叠数据源，而需谨慎处理数据源间的偏差与噪声。
多目标优化的资源效率提升
针对多目标黑盒优化，文章介绍了MF-OSEMO方法，通过不同资源消耗和准确性的多保真函数评估来减少资源消耗，并近似真实帕累托解集。实验表明，MF-OSEMO在多个基准问题上相比单一保真算法有显著改进。这表明多保真策略能有效平衡多目标优化中的资源与精度。
反向设计中的协同策略
文章描述了一种将多精度评估、机器学习模型和优化算法协同的方法，用于增强受计算资源约束的反向设计。该方法利用低保真模拟数据训练模型，预测目标变量并决定是否需要高精度模拟，从而节省资源。模型还在优化前用于缩小搜索空间，加速收敛。该方法已应用于差分进化和粒子群优化，并适用于任何基于群体的优化算法。
理论进展与算法变体
文章提到多保真零阶优化的研究，提出了一种证明算法的变体，并推导了对任意Lipschitz函数的成本复杂性界限，证明该算法的成本复杂性几乎最优，同时解决了噪声评估的特殊情况。此外，基于知识梯度的多保真贝叶斯优化在深度神经网络超参数调整中表现优异。这些工作为多保真优化提供了理论保证和实用工具。
Q&A
什么是多保真贝叶斯优化（MFBO）？
多保真贝叶斯优化（MFBO）是多保真优化与贝叶斯优化相交领域的研究方向，主要利用高斯过程代理模型和采集函数，在优化过程中结合不同保真度的数据，以降低计算成本并提高效率。
MFBO通常使用哪些代理模型和采集函数？
MFBO通常使用高斯过程作为代理模型，并采用多种采集函数，如基于知识梯度的采集函数、max-value entropy search（MF-MES）等，以指导优化过程。
MFBO在哪些类型的优化问题中有应用？
MFBO应用于约束优化、高维优化、不确定性优化和多目标优化等问题中，并针对这些场景发展了相应的方法，如MF-OSEMO用于多目标优化。
多保真优化如何帮助反向设计？
通过多精度评估、机器学习模型和优化算法的协同，利用低精度模拟数据训练机器学习模型来预测目标变量，并决定是否需要高精度模拟，从而节省计算资源并加速收敛。该方法适用于任何反向设计应用，并能与基于群体的优化算法无缝结合。
MF-MES方法有什么特点？
MF-MES是一种基于max-value entropy search的多保真贝叶斯优化方法，它考虑最优函数值的熵而非最优输入点，简化了计算并解决了信息熵估计难题，还提供了并行化方案，在材料科学等基准数据集上验证有效。
多保真零阶优化问题的研究进展如何？
针对多保真零阶优化问题，研究提出了一种证明算法的变体，推导了对任意Lipschitz函数f的成本复杂性界限，并证明该算法的成本复杂性几乎是最优的，同时解决了噪声评估的特殊情况。
