批量、小批量与随机梯度下降
💡
原文英文，约1100词，阅读约需4分钟。
📝
内容提要
本文介绍了PyTorch中的三种梯度下降方法：批量梯度下降（BGD）、小批量梯度下降（MBGD）和随机梯度下降（SGD）。BGD使用整个数据集，收敛稳定但易过拟合；MBGD将数据集分为小批量，收敛不如BGD稳定，但适合大数据集；SGD逐个样本更新，收敛波动大，但能更快逃离局部最优解。
🎯
关键要点
-
本文介绍了三种梯度下降方法：批量梯度下降（BGD）、小批量梯度下降（MBGD）和随机梯度下降（SGD）。
-
BGD使用整个数据集，收敛稳定但易过拟合，适合小数据集。
-
MBGD将数据集分为小批量，收敛不如BGD稳定，但适合大数据集，且更容易逃离局部最优解。
-
SGD逐个样本更新，收敛波动大，但能更快逃离局部最优解，适合在线学习。
-
BGD的优点包括收敛稳定、对噪声强、较少过冲和创建更准确的模型。
-
BGD的缺点包括对大数据集不适用、需要重新准备整个数据集、较难逃离局部最优解和易过拟合。
-
MBGD的优点包括适合大数据集、无需重新准备整个数据集、较容易逃离局部最优解和较少过拟合。
-
MBGD的缺点包括收敛不如BGD稳定、对噪声较弱、易过冲和创建的模型准确性较低。
-
SGD的优点包括适合大数据集、无需重新准备整个数据集、较容易逃离局部最优解和较少过拟合。
-
SGD的缺点包括收敛不如MBGD稳定、对噪声较弱、易过冲和创建的模型准确性较低。
➡️
