使用高性能计算和量子退火预测深度学习模型的超参数优化性能

原文约200字,阅读约需1分钟。发表于:

利用模型性能预测与提前停止方法相结合,加速深度学习模型的超参数优化过程,通过 Swift-Hyperband 算法在高性能计算环境中测试,发现它在高能物理、计算机视觉和自然语言处理等领域的各种目标模型中找到相当好的超参数,且使用较少的计算资源。

本文提出了一种利用标准频率回归模型通过网络架构、超参数和时间序列验证性能数据来预测部分训练模型配置的最终性能的方法,并证明该方法在视觉分类和语言建模领域中是有效的。同时,我们提出了一种早期停止方法,可用于超参数优化和元模建模,加速了模型配置的优化过程,该方法在强化学习-based架构选择算法和基于贝叶斯思想的搜索方法中均可无缝集成。

相关推荐 去reddit讨论