基于转移学习的高斯 Copula 自动调谐
内容提要
该文汇总了多项自动调参与优化研究：Self-Tuning结合有标签与无标签数据及预训练迁移，并用伪群组对比缓解伪标签依赖；其他工作包括用异构图神经网络与去噪自编码器调优并行代码、以自动超参数优化训练图卷积网络、基于贝叶斯优化调参、借PLM生成样本改进小样本学习、用OtterTune推荐数据库参数、以ℓ1正则迁移学习提升因果效应估计、用时间转移学习优化自动驾驶，以及提出并行无导数优化框架Autotune和张量程序自动调优方法。
延伸解读
Self-Tuning 的核心机制与效果
Self-Tuning 模型通过自动调整联合探索有标签数据、无标签数据和预训练模型的迁移，并引入 Pseudo Group Contrast 机制来缓解对伪标签的依赖、提高对错误标签的容忍度。实验显示，在五个任务上它优于对应的半监督学习和迁移学习方法，例如在仅使用 15% 标签的 Cars 数据集上精度提升了一倍。这表明结合迁移与半监督学习并设计鲁棒的对比机制，能在标签稀缺时带来显著收益。
自动调参方法的多样性
文章汇总了多种自动调参研究：针对并行代码区域，用异构图神经网络和去噪自编码器建模中间表示来优化线程数、调度策略和块大小；针对图卷积网络，提出自调节 GCN 和基于种群的训练算法；基于贝叶斯优化框架的高斯过程模型可超越人类调参表现；OtterTune 则用监督与无监督学习推荐数据库参数。这些工作表明自动调参已覆盖代码优化、模型训练和系统配置等多个层面。
迁移学习在特定场景的应用
文章还介绍了迁移学习在几个具体场景的应用：利用 ℓ1 正则化的迁移学习在同质情况下提高因果效应估计的准确性，可结合广义线性模型和神经网络；通过时间转移学习算法研究基于深度强化学习的粗粒度建议式自动驾驶在交通流优化中的潜力；以及从 PLM 的 few-shot 学习角度，通过调参后作为生成器合成新样本，在 GLUE 基准上超过无增加方法 5+ 平均点数和增加方法 3+ 平均点数。这些案例展示了迁移学习在因果推断、自动驾驶和小样本学习中的实用价值。
自动调优框架与张量程序优化
Autotune 是一个自动化的并行无导数优化框架，结合多种采样和搜索方法调整超参数，并通过并行计算和分布式训练优化资源性能。针对张量程序生成，文章提出学习联合的神经网络和硬件特征以及基于注意力的方法来剪枝数据集，可将数据集缩减高达 45% 而不影响配对比较准确性，且推断时间仅为基线调整时间的 25%-40%。这些工作体现了自动调优在提升效率和降低计算成本方面的进展。
Q&A
Self-Tuning 模型是如何利用无标签数据和预训练模型的？
Self-Tuning 模型通过自动调整来联合探索有标签和无标签数据以及预训练模型的转移，并使用 Pseudo Group Contrast 机制来缓解对伪标签的依赖性和提高对错误标签的容忍度。
Self-Tuning 在标签数据很少的情况下效果如何？
实验表明，在五个任务中，Self-Tuning 具有比其 SSL 和 TL 对应物更好的表现，例如在仅使用 15% 标签的 Cars 数据集上将精度提升了一倍。
如何自动调整并行代码区域的性能参数？
可以使用多模态深度学习方法，将异构图神经网络和去噪自编码器用于建模基于中间表示的代码表示，从而优化线程数量、调度策略、块大小等参数。
贝叶斯优化如何用于机器学习超参数调优？
基于贝叶斯优化框架，建立高斯过程模型，通过前期实验获得的信息来优化超参数调整，并利用多核心并行实验等新算法，可以超过经验人类调参表现。
OtterTune 是如何推荐数据库参数设置的？
OtterTune 通过有监督和无监督的机器学习方法选择对系统有影响力的 knobs，映射未知的工作负载，推荐 knob 设置，并改进延迟预测；它使用 GMM 聚类去除指标并组合集成模型（如 RandomForest）与非线性模型（如神经网络）进行预测建模。
Autotune 框架有什么特点？
Autotune 是一个自动化的并行无导数优化框架，结合了多种专业的采样和搜索方法，可有效地调整机器学习模型的超参数，提高模型质量和训练效率，并通过并行计算和分布式训练优化算法的资源性能。
