神经网络训练中的并行信任区域方法:超越传统方法
原文中文,约400字,阅读约需1分钟。发表于: 。我们提出了一种使用 “加法预条件化信任域策略”(APTS)的新变体训练神经网络(NNs)的方法,该方法是基于可并行化的加法域分解方法应用于神经网络参数的。该方法构建在 TR 框架之上,确保全局收敛到最小化器,并且消除了计算成本昂贵的超参数调优的需求,因为 TR 算法会自动确定每次迭代的步长。通过进行一系列的数值实验证明了所提出的 APTS...
该文章介绍了一种新的神经网络训练方法,使用APTS和可并行化的加法域分解方法。该方法在TR框架上构建,全局收敛到最小化器,无需超参数调优。通过实验证明了APTS训练方法的能力、优势和局限性,并与其他方法进行了比较。