DEV Community
·
批量、小批量与随机梯度下降
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
本文介绍了PyTorch中的三种梯度下降方法：批量梯度下降（BGD）、小批量梯度下降（MBGD）和随机梯度下降（SGD）。BGD使用整个数据集，收敛稳定但易过拟合；MBGD将数据集分为小批量，收敛不如BGD稳定，但适合大数据集；SGD逐个样本更新，收敛波动大，但能更快逃离局部最优解。
🎯
关键要点
- 本文介绍了三种梯度下降方法：批量梯度下降（BGD）、小批量梯度下降（MBGD）和随机梯度下降（SGD）。
- BGD使用整个数据集，收敛稳定但易过拟合，适合小数据集。
- MBGD将数据集分为小批量，收敛不如BGD稳定，但适合大数据集，且更容易逃离局部最优解。
- SGD逐个样本更新，收敛波动大，但能更快逃离局部最优解，适合在线学习。
- BGD的优点包括收敛稳定、对噪声强、较少过冲和创建更准确的模型。
- BGD的缺点包括对大数据集不适用、需要重新准备整个数据集、较难逃离局部最优解和易过拟合。
- MBGD的优点包括适合大数据集、无需重新准备整个数据集、较容易逃离局部最优解和较少过拟合。
- MBGD的缺点包括收敛不如BGD稳定、对噪声较弱、易过冲和创建的模型准确性较低。
- SGD的优点包括适合大数据集、无需重新准备整个数据集、较容易逃离局部最优解和较少过拟合。
- SGD的缺点包括收敛不如MBGD稳定、对噪声较弱、易过冲和创建的模型准确性较低。
➡️
