（变尺寸）混合优化问题的元启发式算法：统一分类和调查
内容提要
该文综述混合变量贝叶斯优化研究：MiVaBo首次处理离散变量复杂约束并提供收敛分析；MixMOBO高效求解混合变量多目标帕累托前沿；MVRSM基于ReLU代理模型优化；此外还包括扩散核建模方法、MCTS-VS变量选择、AutoOpt自动设计元启发式框架及大规模多目标VMORS等，均在实验中优于现有方法。
延伸解读
混合变量优化的方法谱系
文章梳理了混合变量优化的多条技术路线：从贝叶斯优化（MiVaBo、MixMOBO、MVRSM、扩散核方法）到变量选择（MCTS-VS）、自动设计框架（AutoOpt）以及大规模多目标方法（VMORS）。这些方法分别针对离散变量约束、多目标帕累托前沿、高维变量筛选等不同难点，读者可据此判断某一方法更适合自己的问题类型，而非盲目套用单一算法。
收敛分析与样本效率的进展
MiVaBo 被强调为首个能处理离散变量复杂约束的贝叶斯优化方法，并提供了混合变量贝叶斯优化的首个收敛分析，实验显示其在超参数调优任务中样本效率显著优于现有方法。这表明该领域正从启发式尝试走向理论保证，但收敛分析目前仅针对特定方法，其他混合变量算法的理论性质仍需谨慎看待。
大规模与自动化趋势
VMORS 将十万到五十万维的大规模多目标问题转化为推荐系统式处理，AutoOpt 则试图自动设计元启发式算法，MCTS-VS 通过变量选择降低高维空间。这些工作共同指向两个趋势：应对超高维搜索空间，以及减少人工设计算法的依赖。不过文章中的实验多为特定基准或真实数据集，实际部署时仍需评估计算开销与问题适配性。
Q&A
MiVaBo算法在混合变量贝叶斯优化中有什么独特之处？
MiVaBo是第一个能够处理离散变量复杂约束的贝叶斯优化方法，它通过优化获取函数实现这一点，并提供了混合变量贝叶斯优化算法的第一个收敛分析。在多个超参数调优任务中，MiVaBo比最先进的混合变量贝叶斯优化算法具有更高的样本效率，尤其适用于深度生成模型的优化。
MixMOBO框架如何解决混合变量多目标优化问题？
MixMOBO是一个混合变量、多目标贝叶斯优化框架，能够高效找到混合变量设计空间的最优帕累托前沿，同时确保解的多样性。实验表明，MixMOBO在合成问题上表现良好。
MVRSM方法使用什么代理模型进行混合变量优化？
MVRSM（Mixed-Variable ReLU-based Surrogate Modelling）使用线性的Rectified Linear Units（ReLU）作为代理模型，实现基于代理的算法的混合变量优化。它获得了优于最佳结果的性能，并在两个真实基准测试中实现了竞争性能。
扩散核方法在混合贝叶斯优化中有什么理论保证和实验表现？
扩散核方法通过扩散核对离散和连续变量建模，被证明具有普适逼近性质。在合成数据和六个不同领域的实验中，该方法显著优于现有方法。
MCTS-VS如何利用变量选择提升高维贝叶斯优化效果？
MCTS-VS是一种基于蒙特卡洛树搜索的变量选择方法，通过迭代选择和优化一组变量来构建低维空间，然后使用任何贝叶斯优化算法在该空间内进行优化。经过高维合成函数和现实世界任务的测试，MCTS-VS可以在高维问题上获得业界领先效果。
AutoOpt框架如何自动设计元启发式算法？
AutoOpt是一个方法学框架，用于自动设计元启发式算法。它包含具有良好性能的算法性能评估标准、算法设计决策空间的一般架构、设计算法所用的混合图和实数表示，以及无模型方法来进行设计过程。实测结果表明，AutoOpt是一种有效且高效的设计元启发式算法的方法学框架。
