梯度下降中小步长假设可能是错误的
原文中文，约1600字，阅读约需4分钟。发表于：。梯度下降算法可以通过包含意想不到的大步长来更快地工作，而研究人员长期以来认为呈梯度逐步完善的，所以取名梯度下降。 寻找最佳解决方案场景到处都是： 手机的 GPS 会计算到达目的地的最短路线。 旅游网站会搜索与您的行程相匹配的最便宜的航班组合。 机器学习应用程序通过分析数据模式进行学习，试图为任何给定的问题提供最准确、最人性化的答案。 1847 年，法国数学家奥古斯丁-路易斯·柯西...
梯度下降是一种优化方法，通过计算斜率来寻找最低点。最近的研究表明，采取大步骤可能更快，但这并不改变当前梯度下降的使用方式。实际应用中的优化程序更加复杂，常规梯度下降仍然是首选。目前还没有人能够解释最佳解决方案的基本结构。
