无需调优的双层优化:新算法及收敛分析
原文中文,约300字,阅读约需1分钟。发表于: 。本研究针对双层优化领域中现有方法需依赖问题参数进行步长调节的问题,提出了两种新颖的无调优算法D-TFBO和S-TFBO。D-TFBO通过采用“累积梯度范数的逆”策略自适应调整步长,而S-TFBO则通过单环结构同时更新三个变量,提供了理论驱动的自适应步长设计。实验表明,这些算法在无需步骤调优的情况下,依然能够达到与现有调优方法相媲美的性能,并具有更强的初始步长选择鲁棒性。
本研究提出了两种无须调优的算法D-TFBO和S-TFBO,解决双层优化中步长调节依赖参数的问题。D-TFBO通过“累积梯度范数的逆”自适应调整步长,S-TFBO通过单环结构更新变量。实验表明,这些算法无需调优即可达到现有方法的性能,并且对初始步长选择更具鲁棒性。