批量、小批量与随机梯度下降

批量、小批量与随机梯度下降

DEV Community DEV Community ·

本文介绍了PyTorch中的三种梯度下降方法:批量梯度下降(BGD)、小批量梯度下降(MBGD)和随机梯度下降(SGD)。BGD使用整个数据集,收敛稳定但易过拟合;MBGD将数据集分为小批量,收敛不如BGD稳定,但适合大数据集;SGD逐个样本更新,收敛波动大,但能更快逃离局部最优解。

原文英文,约1100词,阅读约需4分钟。
阅读原文