本研究提出了一种新颖的最陡扰动梯度下降(SPGD)算法,旨在解决优化算法在局部最小值和鞍点的收敛问题。SPGD结合了梯度下降与周期性均匀扰动采样,显著提升了逃离次优解的能力,并在3D组件打包问题中取得了显著改进。
最近的研究发现,个体学习者的局部最小值的锐度和集成成员的差异是改善测试性能的关键因素。本研究探究了锐度和差异在深度集成中的相互作用,并展示了它们在对于分布内和分布外数据的稳健泛化中的关键作用。通过理论分析和实验证明了提出的训练方法SharpBalance可以平衡集成中的锐度和差异,显著提高集成的性能。
高维空间中的运动规划一直是机器人领域的难题。我们提出了一种新的基于学习势能的方法,通过训练神经网络来学习优化势能模型,有效避免了局部最小值问题。
该文提出了一种基于学习辅助的热启动模型预测控制算法,利用神经网络的多模型预测器生成多个轨迹建议,并通过基于采样的技术对其进行进一步优化,以识别多个不同的局部最小值,并提供更好的初始猜测。该方法在交通场景的蒙特卡罗模拟中得到了验证。
该文介绍了一个浅层神经网络结构,具有隐藏层、斜坡激活函数和L2 Schatten/Hilbert-Schmidt代价函数。证明了成本函数最小值的上界,并使用投影获得了一个近似优化器。在特殊情况下,证明了成本函数的精确退化局部最小值,并展示了该网络度量了输入空间中的Q维子空间。对成本函数全局最小值的特征进行了评论。
完成下面两步后,将自动完成登录并继续当前操作。