批量、小批量与随机梯度下降
原文英文，约1100词，阅读约需4分钟。发表于：。Buy Me a Coffee☕ *Memos: My post explains Batch, Mini-Batch and Stochastic Gradient Descent with DataLoader() in PyTorch. My post explains Batch Gradient Descent without DataLoader() in...
本文介绍了PyTorch中的三种梯度下降方法：批量梯度下降（BGD）、小批量梯度下降（MBGD）和随机梯度下降（SGD）。BGD使用整个数据集，收敛稳定但易过拟合；MBGD将数据集分为小批量，收敛不如BGD稳定，但适合大数据集；SGD逐个样本更新，收敛波动大，但能更快逃离局部最优解。
