Louis Aeilot's Blog
·
CS231n 讲义 III：优化
💡
原文英文，约1800词，阅读约需7分钟。
📝
内容提要
优化过程旨在最小化损失函数，常用方法包括随机搜索、梯度下降和随机梯度下降（SGD）。SGD通过小批量数据计算梯度，加速收敛。动量法和RMSProp等技术提高了优化效率，而Adam优化器结合了动量和RMSProp的优点，能够自适应调整学习率。
🎯
关键要点
- 优化过程旨在最小化损失函数，常用方法包括随机搜索、梯度下降和随机梯度下降（SGD）。
- SGD通过小批量数据计算梯度，加速收敛。
- 动量法和RMSProp等技术提高了优化效率。
- Adam优化器结合了动量和RMSProp的优点，能够自适应调整学习率。
- 随机搜索是一种初步的优化策略，但效率低下。
- 梯度下降通过计算函数的导数来寻找最优参数。
- 在大规模应用中，使用小批量梯度下降（Mini-batch Gradient Descent）来提高效率。
- SGD可能会受到局部最小值和噪声的影响。
- 动量法通过加速SGD并减少振荡来提高收敛速度。
- RMSProp通过历史平方和的元素级缩放来调整学习率。
- Adam优化器结合了动量和RMSProp的优点，适应性强。
- 学习率是一个超参数，可以随着时间衰减。
- 二阶优化方法使用梯度和Hessian形成二次近似，但计算量大。
- L-BGFS是一种不存储完整逆Hessian的准牛顿方法。
➡️
