多目标 AutoML 的超参数重要性分析
内容提要
本文探讨了超参数优化的多种方法，包括基于元学习的自动分析、PED-ANOVA算法、HyperTuner和贝叶斯优化。研究表明，梯度提升和Adaboost分类器效果最佳，并提出了一种以人为中心的交互式优化方法，验证了其在机器学习中的有效性。
延伸解读
超参数重要性分析的方法演进
文章梳理了从元学习到PED-ANOVA等多种超参数重要性分析方法。元学习通过跨数据集分析为手动设计和自动优化提供依据；PED-ANOVA利用Pearson散度计算子空间贡献，识别重要超参数。这些方法各有侧重，反映了该领域从依赖经验到数据驱动的趋势。
多目标优化中的关键算法
HyperTuner通过MOPIR进行参数重要性排名，并利用ADUMBO寻找帕累托最优配置集；多目标贝叶斯优化则通过统一目标规范化和随机化权重解决目标尺度问题，并借助并行化加速。这些算法共同提升了多目标超参数优化的效率。
以人为中心的交互式优化
文章提出一种以人为中心的交互式超参数优化方法，从用户中提取优化指标并引导优化，通过学习比较不同帕累托前沿来选择适当的质量指标。该方法在机器学习环境影响评估中验证了有效性，强调了人在优化回路中的作用。
模型选择与优化启示
研究发现梯度提升和Adaboost分类器表现最佳，揭示了模型性能与超参数之间的关系。此外，优化贝叶斯优化的超参数能提升其基准测试表现，且优化后的调参效果具有良好泛化性，这提示我们超参数优化本身也需优化。
Q&A
什么是PED-ANOVA算法，它的作用是什么？
PED-ANOVA算法使用Pearson散度计算不同子空间的贡献，以识别重要的超参数。
HyperTuner是如何实现超参数自动调整的？
HyperTuner通过MOPIR算法进行多目标参数重要性排名，并利用ADUMBO算法找到帕累托最优配置集。
研究中发现哪些分类器的效果最佳？
研究发现梯度提升和Adaboost分类器的效果最佳。
多目标贝叶斯优化算法的优势是什么？
多目标贝叶斯优化算法通过统一目标规范化和随机化权重解决不同目标尺度的问题，提高了算法效率。
以人为中心的交互式超参数优化方法的目的是什么？
该方法旨在从用户中提取优化指标并引导优化，验证其在机器学习中的有效性。
如何通过任务相似性加速多目标超参数优化？
新的算法通过任务相似性加速多目标超参数优化，并在AutoML 2022比赛中获得第一名。
